Oqoqo
Облачная платформа, где можно создавать собственные оценки и закрытые бенчмарки для ИИ-агентов и сравнивать агентов, модели и наборы инструментов.
- Можно попробовать бесплатно
- Да
- Без регистрации
- Нет
- Русский интерфейс
- Нет
- Разработчик
- Oqoqo
Oqoqo — управляемая облачная платформа для тестирования ИИ-агентов на задачах, близких к рабочим. Пользователь описывает задачи и критерии успеха обычным языком, после чего сервис запускает агентов в изолированных песочницах с нужными файлами, инструментами и доступами. Можно сравнивать разных агентов, модели, уровни усилий и наборы инструментов (навыки, MCP-серверы, CLI, SDK) на одних и тех же заданиях. По итогам видны результаты по каждому требованию с пояснениями, полный ход выполнения с вызовами инструментов и ошибками, расход токенов, трения интерфейса и прирост доли успешных прогонов между итерациями. Работать можно через веб-приложение, CLI и MCP.
Возможности
Сравнение агентов и моделей
Одни и те же задачи запускаются на разных агентах, моделях и уровнях усилий. Результаты сопоставляются в одном эксперименте.
Задачи на обычном языке
Задачи и критерии оценки описываются простым текстом и сохраняются вместе с версией эксперимента, поэтому повторные запуски остаются сравнимыми.
Изолированные песочницы
Каждая задача выполняется на отдельной машине с состоянием проекта, контекстом, доступами и инструментами. Подготовка, выполнение и завершение измеряются по времени отдельно.
Проверка наборов инструментов
Можно сравнивать, как агенты справляются с навыками, MCP-серверами, CLI и SDK, и видеть, какой вариант даёт лучший результат.
Разбор траекторий
Для каждого прогона доступны вызовы инструментов, команды, ошибки и место, где агент остановился. Результат по каждому требованию сопровождается письменным объяснением.
Метрики и прирост
Показываются доля пройденных задач, расход токенов, трения интерфейса и прирост успешности между итерациями.
Запуск из CI и агентами
Эксперименты можно запускать из CI при изменениях, способных сломать сценарии агентов, а также через CLI и MCP.
Командная работа
Участников, проекты, эксперименты и задачи можно добавлять без ограничений. Все участники делят общий пул запусков.
Кому подойдёт
- Разработчики
Проверяют, справляются ли ИИ-агенты с их продуктом, SDK, CLI или MCP-сервером, и ловят регрессии при изменениях.
- Менеджеры проектов и продуктов
Сравнивают агентов и модели на собственных сценариях и выбирают, что внедрять, по доле успешных прогонов и расходу токенов.
- Исследователи и учёные
Строят закрытые бенчмарки и воспроизводимые эксперименты для оценки поведения агентов вне готовых наборов тестов.
- Аналитики
Анализируют результаты прогонов, расход токенов и причины сбоев агентов по полным траекториям.
Как начать
- Зарегистрироваться в веб-приложении Oqoqo на бесплатном тарифе без банковской карты.
- Описать задачи и критерии успеха обычным языком.
- Выбрать агентов, модели и наборы инструментов для сравнения и подключить свои ключи моделей.
- Запустить эксперимент и дождаться прогона в изолированных песочницах.
- Изучить результаты и траектории, исправить найденные проблемы и запустить эксперимент заново.
Тарифы
Запуском считается одна попытка агента выполнить задачу в рамках одного набора инструментов. Все тарифы включают все функции и неограниченное число участников, проектов, экспериментов и задач. Неиспользованные запуски по подписке не переносятся. Расходы на вызовы моделей оплачиваются отдельно: используются собственные ключи или подписки. Для больших объёмов скидки по запросу.
Ограничения
- Бесплатные запуски обновляются раз в месяц и не накапливаются
- Неиспользованные запуски по подписке не переносятся на следующий месяц
- Оплата вызовов моделей не входит в стоимость платформы, нужны свои ключи или подписки
- Сервис может ограничивать использование ради справедливого распределения мощностей
- Интерфейс и документация на английском
Платформы и интеграции
Соседи по смыслу
за последний месяц