PromptJury
Веб-сервис, который сравнивает промпты и модели GPT, Claude, Gemini на тестовых примерах и слепой оценкой жюри называет лучший вариант с ценой.
- Можно попробовать бесплатно
- Да
- Без регистрации
- Да
- Русский интерфейс
- Нет
- Цена от
- $25/мес
- Разработчик
- PromptJury
PromptJury проводит оценку (eval) промптов и языковых моделей без кода. Пользователь описывает задачу и утверждает критерии качества, после чего сервис сам пишет тестовые примеры и несколько конкурирующих промптов. Каждая модель отвечает на каждый пример, а ответы оценивает жюри из моделей разных разработчиков: оно не знает, кто написал ответ, и ни одна модель не оценивает собственные ответы. На выходе — баллы с доверительным диапазоном, стоимость за 1 000 вызовов и рекомендация, какой промпт и какую модель выпускать в работу. Доступны любые чат-модели из списка OpenRouter. Отдельные бесплатные инструменты работают без регистрации.
Возможности
Критерии качества заранее
Пользователь утверждает руководство по оценке с весами и шкалой по каждому измерению до написания промптов, поэтому стандарт не подгоняется под победителя.
Конкурирующие промпты
Несколько моделей пишут черновики промпта под критерии и критикуют работы друг друга. Тестировать начинают с набора соперников, а не с одной догадки.
Автоматические тестовые примеры
Сервис генерирует реалистичные случаи от простых до неудобных, например 40 штук. Можно загрузить свои примеры из CSV или JSONL либо отредактировать созданные.
Слепое жюри
Оценщики не видят, какая модель и какой промпт дали ответ, а модель не оценивает себя. Итог — медиана нескольких оценок с диапазоном и пометкой «слишком близко» при равенстве.
Цена вызовов в результате
Рядом с баллом каждой модели указана стоимость за 1 000 вызовов. Отдельно называется самая дешёвая модель, почти не уступающая победителю.
Повторные проверки
Сохранённые случаи превращаются в регрессионные тесты и запускаются по расписанию, а при выходе новой модели приходит уведомление.
Улучшение промпта
Для каждой модели предлагается правка, которую можно перепроверить на тех же примерах и оставить, только если балл вырос.
Отчёты под своим брендом
На платных тарифах доступны приватные страницы результата, PDF и white-label отчёты, а лучший ответ можно выгрузить в Word, PDF или Excel.
Кому подойдёт
- Разработчики
Выбирают промпт и модель для функции с ИИ и получают проверку без сборки тестового стенда и SDK.
- Агентства и фрилансеры
Подтверждают выбор модели для клиента отчётом под своим брендом с баллами и ценой за 1 000 запусков, в том числе для шагов в Clay, n8n, Make и Zapier.
- Предприниматели и руководители
Ставят проверки по расписанию и узнают о падении качества ответов ИИ раньше клиентов.
- Исследователи и учёные
Сравнивают модели на одинаковых случаях с доверительными диапазонами и разбором причин оценок.
Как начать
- Зарегистрироваться или войти и открыть создание нового случая.
- Описать задачу ИИ двумя предложениями и утвердить предложенные критерии оценки.
- Принять или поправить черновики промптов и тестовые примеры либо загрузить свои.
- Выбрать модели, проверить смету в кредитах и подтвердить запуск.
- Получить рекомендацию с баллами, диапазонами и ценой, затем применить предложенные правки и перепроверить.
Тарифы
Оплата идёт кредитами по цене каждой модели; смета показывается до запуска. Кредиты тарифа не переносятся, докупленные не сгорают (пополнение от $10 до $100, нужен платный тариф). Для первых 20 агентств есть предложение: Builder с 6 000 кредитов в месяц в первые три месяца.
Ограничения
- На бесплатном тарифе только 200 кредитов однократно, модели низкой цены и публичная страница результата
- Бесплатный тариф: 1 случай, 25 тестовых примеров, хранение ответов 14 дней
- Месячные кредиты не переносятся на следующий месяц
- Не заменяет трассировку, мониторинг продакшена и CI, как в Braintrust или LangSmith
- Модели вызываются через аккаунт сервиса, свои API-ключи не используются
Платформы и интеграции
Соседи по смыслу
за последний месяц