OpenRouter Benchmarks
Раздел OpenRouter с постоянно обновляемыми независимыми замерами качества, цены и скорости моделей, провайдеров и поисковых движков.
- Без регистрации
- Да
- Русский интерфейс
- Нет
- Работает с русским языком
- Нет
- Разработчик
- OpenRouter
- Страна
- США
OpenRouter Benchmarks — публичная таблица независимых замеров, которые платформа OpenRouter регулярно прогоняет на моделях, провайдерах и поисковых движках. Для каждого теста показаны лидеры по качеству, стоимости и скорости, а у каждого результата есть конфигурация запуска, расходы и телеметрия, так что оценку можно воспроизвести.
Тесты разделены на группы: агенты с вызовом инструментов, генерация изображений, видео и речи, создание рисунков и игр текстовыми моделями, научные рассуждения, веб-поиск. Всего больше двух миллионов оценённых задач. Результаты доступны и через API, поэтому их можно встроить в собственные отчёты и выбор модели под задачу.
Возможности
Рейтинги по трём осям
Для каждого теста указаны лучшая модель по качеству, по цене за запрос и по скорости ответа.
Тесты агентов
Проверка многошаговых агентов, которые вызывают инструменты и соблюдают жёсткие правила сервиса.
Медиа-замеры
Отдельные тесты изображений, шестисекундного видео, синтеза речи и правки мемов с оценкой по соответствию запросу.
Артефакты от текстовых моделей
Модели рисуют картинки и создают играбельные игры по одному описанию, результат оценивается как изображение или игра.
Замеры поиска
Сравнение поисковых движков на сложных задачах: поиск скрытых фактов, полные списки и заполнение таблиц.
Доступ через API
Результаты и описания тестов можно получать программно и использовать в собственных сравнениях.
Кому подойдёт
- Разработчики
Помогает выбрать модель или провайдера под задачу по качеству, цене и скорости, а не по маркетингу.
- Исследователи и учёные
Воспроизводимые измерения с открытой конфигурацией запусков и телеметрией.
- Аналитики
Сводные данные о стоимости и скорости сотен моделей для сравнения и отчётов.
- Предприниматели и руководители
Позволяет оценить, какая модель даёт нужное качество при приемлемых расходах.
Как начать
- Открыть раздел Benchmarks на сайте OpenRouter.
- Выбрать группу тестов: агенты, медиа, артефакты, рассуждения или поиск.
- Открыть нужный тест и сравнить модели по качеству, цене и скорости.
- При необходимости получить данные через API замеров.
Тарифы
Ограничения
- Охвачены только модели и провайдеры, доступные через OpenRouter.
- В тестах поиска участвует лишь несколько систем.
- Набор тестов ограничен тринадцатью замерами.
Платформы и интеграции
Соседи по смыслу
за последний месяц