Noveum.ai
Платформа для трассировки, оценки и отладки ИИ-агентов: собирает трейсы из продакшена, прогоняет их по скорерам и выдаёт рекомендации по исправлению.
- Можно попробовать бесплатно
- Да
- Без регистрации
- Нет
- Русский интерфейс
- Нет
- Цена от
- $69/мес
- Разработчик
- Noveum AI
- Страна
- США
Noveum.ai — платформа наблюдаемости и оценки ИИ-агентов в продакшене: чат-ботов, голосовых агентов и многошаговых воркфлоу. Открытый Python-пакет noveum-trace записывает вызовы моделей, обращения к инструментам, поиск по базе знаний и переходы между агентами в виде спанов, а собранные трейсы превращаются в набор данных для оценки. В библиотеке 112 опубликованных скореров в 15 категориях: 76 работают через модель-судью, 36 заточены под голос и аудио. Результаты разбирает NovaPilot: находит повторяющиеся сбои, проблемы в системном промпте и выдаёт ранжированные рекомендации со ссылками на проблемные элементы и трейсы. NovaSynth проверяет голосовых и чат-агентов синтетическими пользователями с заданными характерами, целями и перебоями связи. Работает в облаке, со своим хранилищем ClickHouse или целиком в инфраструктуре заказчика.
Возможности
Трассировка запусков агентов
noveum-trace записывает шаги агента, вызовы LLM, инструменты и поиск по базе знаний в виде спанов с атрибутами. Трейсы поддерживают вложенность, многопоточность и мультиагентные графы, отправляются по REST из любого языка.
112 скореров для оценки
Библиотека проверок качества, безопасности, формата и производительности в 15 категориях. 76 скореров работают через модель-судью и показывают обоснование оценки, 36 проверяют голос и аудио.
NovaPilot: разбор сбоев
Анализирует оценённый набор данных и собирает отчёт: общее состояние, повторяющиеся паттерны отказов, замечания к системному промпту и рекомендации с оценкой уверенности и трудоёмкости.
Синтетические звонки NovaSynth
Персоны с целями, темпом речи, акцентом и фоновым шумом звонят агенту через LiveKit, телефонию или HTTP-чат. Перебивания, паузы и смены темы проверяют устойчивость разговора до релиза.
Сравнение версий агента
К трейсам привязывается версия приложения, поэтому качество, задержки и стоимость сопоставляются между релизами и промптами на одном дашборде.
Лимиты расходов NovaGuard
В бете задаёт потолки расходов на модели и ограничения по числу запросов или токенов, которые подключённое приложение или шлюз забирает и применяет у себя.
Развёртывание у заказчика
Помимо облака доступны вариант в собственном VPC, установка on-premise и свой бакет ClickHouse в качестве хранилища трейсов, а также SSO и разграничение доступа.
MCP-сервер и API
MCP-сервер отдаёт данные платформы совместимым ИИ-клиентам, а REST API принимает трейсы и запускает прогоны из внешних систем и планировщиков.
Кому подойдёт
- Разработчики
Нужно видеть, на каком шаге агент ушёл не туда, и проверять гипотезы правок на тех же трейсах, а не на глаз по логам.
- Менеджеры проектов и продуктов
Помогает оценивать качество агента до и после релиза по измеримым скорам и принимать решение о выкатке по отчётам, а не по демо.
- Аналитики
Трейсы превращаются в наборы данных, по которым считаются метрики отказов, галлюцинаций и успешности сценариев на потоке реальных обращений.
- Служба поддержки
Проверка голосовых и чат-агентов на типичных жалобах клиентов показывает, где бот врёт, перебивает или не доводит обращение до конца.
Как начать
- Зарегистрироваться по кнопке Start free — бесплатный тариф даёт 2 500 кредитов в месяц без банковской карты.
- Создать проект, получить API-ключ и положить его в переменную окружения NOVEUM_API_KEY.
- Установить пакет pip install noveum-trace и обернуть вызовы модели, инструментов и поиска контекста.
- Открыть страницу Traces и проверить, что пришли нужные поля: вход, ответ, инструменты, версия сервиса.
- Настроить ETL-задачу в набор данных и запустить eval-job с подходящими скорерами.
Тарифы
Цена за организацию, а не за место; при годовой оплате даётся скидка около 17 процентов (два месяца бесплатно). Кредиты общие на все продукты и тратятся так: 1 кредит за проверку скорером на каждые 4 000 входных токенов, 100 кредитов за минуту голосового звонка, 12 за текстовую беседу, 8 за элемент датасета в отчёте NovaPilot. Докупить кредиты можно разовыми пакетами от $35 за 5 000, они не сгорают.
Ограничения
- Бесплатный тариф ограничен 2 500 кредитами, 1 млн спанов и тремя участниками.
- Скореры с пометкой Premium платные, а голосовые проверки стоят дороже текстовых: 2 кредита за проверку.
- NovaPilot не вносит правки в приложение: он выдаёт рекомендации, изменение и повторную проверку делает команда.
- NovaSynth работает через LiveKit, телефонный номер и HTTP-чат; прямые подключения Pipecat, WebSocket, VAPI, Retell и ElevenLabs не поддерживаются.
- Встроенного планировщика ночных прогонов нет, регулярные проверки запускают через API из внешней автоматизации.
- Интерфейс и документация на английском языке.
Платформы и интеграции
Соседи по смыслу
за последний месяц