evalship
GitHub App, который проверяет сами LLM-оценки и комментирует каждый pull request: что действительно сломалось, где регрессия, а где случайный шум.
- Можно попробовать бесплатно
- Да
- Без регистрации
- Нет
- Русский интерфейс
- Нет
- Цена от
- $19/мес
- Разработчик
- Garm Tech B.V.
- Страна
- Нидерланды
evalship — сервис контроля качества для наборов оценок (evals) LLM-приложений. Он живёт в GitHub рядом с уже существующими тестами: при настройке кодинг-агент разбирает оценки и промпты репозитория и находит дефекты — судью, который считает ошибки проходами, порог, который никогда не срабатывает, требование в промпте, не покрытое ни одним тестом. Дальше сервис комментирует каждый pull request, который меняет промпты, AI-вызовы или сами оценки: какие оценки упали, какое изменение это вызвало, что осталось без тестов, и отделяет настоящую регрессию от нестабильной оценки, опираясь на историю прогонов в основной ветке. Свои оценки evalship не запускает — результаты приходят из GitHub Actions или с машины разработчика. Дополнительно он пробует на машине разработчика более дешёвые модели и правки промптов и показывает, какие изменения выигрывают статистически значимо, а также присылает недельный отчёт.
Возможности
Ревью самих оценок
Кодинг-агент разбирает наборы тестов, промпты и AI-вызовы репозитория и выдаёт до 12 дефектов, каждый со ссылкой на файл, строку и цитатой. Для каждого дефекта предлагается конкретное исправление.
Комментарий к каждому pull request
Один комментарий собирает результаты всех фреймворков оценки, показывает упавшие тесты до и после изменения, вероятную причину и ссылку на полный отчёт.
Регрессия или случайный шум
Оценка, стабильно проходившая в основной ветке, считается настоящей регрессией, а нестабильная помечается как случайная и не блокирует работу.
Нетестированные AI-вызовы
Сервис находит в диффе промпты и вызовы модели, которые не проверяет ни одна оценка, и предлагает агенту дописать тест.
24+ проверки качества
Проверки выявляют судей, всегда выставляющих проход, слишком маленькие веса оценок, утечку ответа в промпт, тесты без права на провал и дублирующие наборы.
Оптимизация промптов и моделей
Агент пробует на машине разработчика изменения вроде более дешёвой модели или уточнённого правила, а evalship показывает, какие из них выигрывают за пределами случайности и на сколько.
Любой фреймворк оценок
Подходят pytest, Vitest, Jest, promptfoo, Langfuse, Braintrust, LangSmith, Inspect AI и обычный тестовый файл с проверками ответов. Менять SDK не нужно — достаточно файла результатов.
Кому подойдёт
- Разработчики
Чтобы видеть в pull request, какие оценки сломало изменение промпта или модели и какие AI-вызовы вообще не покрыты тестами.
- Менеджеры проектов и продуктов
Чтобы отличать реальное ухудшение качества LLM-функции от случайных падений и понимать, какие изменения безопасно мержить.
- Аналитики
Чтобы проверить методику замеров: корректность судей, порогов и набора тестовых случаев, а не только итоговый балл.
Как начать
- Скопировать однострочный промпт настройки и вставить его в кодинг-агент, запущенный в репозитории.
- Войти через GitHub и установить приложение evalship на нужный репозиторий по ссылке от агента.
- Пройти с агентом шаги настройки: он найдёт оценки, подключит GitHub Actions и откроет setup-пул-реквест.
- Добавить секреты API, если оценки обращаются к платным моделям в CI, и смержить setup-пул-реквест — его результаты станут базовой линией.
- На следующем pull request получить комментарий с разбором и при необходимости сделать проверку evalship обязательной в правилах ветки.
Тарифы
Есть бесплатный тариф и 7-дневный пробный период на платных. Сейчас действует скидка 60% навсегда для первых девяти платных аккаунтов, следующие 25 получают 50% и далее по убывающей. Сверх тарифа: $2 в месяц за пользователя, $10 в месяц за приватный репозиторий, $10 за каждые 100 анализов PR. Годовая оплата равна десяти месячным.
Ограничения
- Поддерживается только GitHub Actions; другие CI-системы пока не подключить.
- Для ревью оценок нужен кодинг-агент с доступом к репозиторию и shell: Claude Code, Codex, Cursor или GitHub Copilot.
- Сервис не запускает оценки, не хранит датасеты, не трассирует продовый трафик и не управляет промптами.
- Блокировать мержи проверкой в приватном репозитории можно только с GitHub Pro, для организации — с GitHub Team.
- На Free при нескольких пользователях приватный репозиторий не получает комментарии к pull request.
- История результатов прогонов на Free хранится 30 дней, на Team — 90 дней.
Платформы и интеграции
Соседи по смыслу
за последний месяц