К содержимому

PromptJury

Веб-сервис, который сравнивает промпты и модели GPT, Claude, Gemini на тестовых примерах и слепой оценкой жюри называет лучший вариант с ценой.

Перейти на сайт Условно бесплатно Можно бесплатно
Можно попробовать бесплатно
Да
Без регистрации
Да
Русский интерфейс
Нет
Цена от
$25/мес
Разработчик
PromptJury
Данные проверены 14 ноября 2026 Поправить карточку

PromptJury проводит оценку (eval) промптов и языковых моделей без кода. Пользователь описывает задачу и утверждает критерии качества, после чего сервис сам пишет тестовые примеры и несколько конкурирующих промптов. Каждая модель отвечает на каждый пример, а ответы оценивает жюри из моделей разных разработчиков: оно не знает, кто написал ответ, и ни одна модель не оценивает собственные ответы. На выходе — баллы с доверительным диапазоном, стоимость за 1 000 вызовов и рекомендация, какой промпт и какую модель выпускать в работу. Доступны любые чат-модели из списка OpenRouter. Отдельные бесплатные инструменты работают без регистрации.

Возможности

Критерии качества заранее

Пользователь утверждает руководство по оценке с весами и шкалой по каждому измерению до написания промптов, поэтому стандарт не подгоняется под победителя.

Конкурирующие промпты

Несколько моделей пишут черновики промпта под критерии и критикуют работы друг друга. Тестировать начинают с набора соперников, а не с одной догадки.

Автоматические тестовые примеры

Сервис генерирует реалистичные случаи от простых до неудобных, например 40 штук. Можно загрузить свои примеры из CSV или JSONL либо отредактировать созданные.

Слепое жюри

Оценщики не видят, какая модель и какой промпт дали ответ, а модель не оценивает себя. Итог — медиана нескольких оценок с диапазоном и пометкой «слишком близко» при равенстве.

Цена вызовов в результате

Рядом с баллом каждой модели указана стоимость за 1 000 вызовов. Отдельно называется самая дешёвая модель, почти не уступающая победителю.

Повторные проверки

Сохранённые случаи превращаются в регрессионные тесты и запускаются по расписанию, а при выходе новой модели приходит уведомление.

Улучшение промпта

Для каждой модели предлагается правка, которую можно перепроверить на тех же примерах и оставить, только если балл вырос.

Отчёты под своим брендом

На платных тарифах доступны приватные страницы результата, PDF и white-label отчёты, а лучший ответ можно выгрузить в Word, PDF или Excel.

Кому подойдёт

  • Разработчики

    Выбирают промпт и модель для функции с ИИ и получают проверку без сборки тестового стенда и SDK.

  • Агентства и фрилансеры

    Подтверждают выбор модели для клиента отчётом под своим брендом с баллами и ценой за 1 000 запусков, в том числе для шагов в Clay, n8n, Make и Zapier.

  • Предприниматели и руководители

    Ставят проверки по расписанию и узнают о падении качества ответов ИИ раньше клиентов.

  • Исследователи и учёные

    Сравнивают модели на одинаковых случаях с доверительными диапазонами и разбором причин оценок.

Как начать

  1. Зарегистрироваться или войти и открыть создание нового случая.
  2. Описать задачу ИИ двумя предложениями и утвердить предложенные критерии оценки.
  3. Принять или поправить черновики промптов и тестовые примеры либо загрузить свои.
  4. Выбрать модели, проверить смету в кредитах и подтвердить запуск.
  5. Получить рекомендацию с баллами, диапазонами и ценой, затем применить предложенные правки и перепроверить.

Тарифы

Free
Бесплатно
200 кредитов однократно, модели низкой цены, 1 случай, 25 тестовых примеров, публичная страница результата
Starter
$25 в месяц
1 500 кредитов в месяц, все модели, приватные результаты, ориентировочно 14 недорогих испытаний
Builder
$50 в месяц
4 000 кредитов в месяц, ориентировочно 39 недорогих испытаний или 7 с топовой моделью
Studio
$100 в месяц
10 000 кредитов в месяц, ориентировочно 99 недорогих испытаний или 18 с топовой моделью

Оплата идёт кредитами по цене каждой модели; смета показывается до запуска. Кредиты тарифа не переносятся, докупленные не сгорают (пополнение от $10 до $100, нужен платный тариф). Для первых 20 агентств есть предложение: Builder с 6 000 кредитов в месяц в первые три месяца.

Ограничения

  • На бесплатном тарифе только 200 кредитов однократно, модели низкой цены и публичная страница результата
  • Бесплатный тариф: 1 случай, 25 тестовых примеров, хранение ответов 14 дней
  • Месячные кредиты не переносятся на следующий месяц
  • Не заменяет трассировку, мониторинг продакшена и CI, как в Braintrust или LangSmith
  • Модели вызываются через аккаунт сервиса, свои API-ключи не используются

Платформы и интеграции

Веб
OpenRouter ChatGPT Claude Gemini Clay n8n Make Zapier

Соседи по смыслу

Botobo дайджест
+950новых сервисов
за последний месяц
раз в день · 53 подписчика
Подписаться на обновления