rightmodeler
CLI с открытым кодом: прогоняет записанные трейсы ИИ-агента через более дешёвые модели и оформляет замену как pull request.
- Можно попробовать бесплатно
- Да
- Без регистрации
- Да
- Русский интерфейс
- Нет
- Разработчик
- ELM-OS
rightmodeler — консольная утилита для команд, у которых ИИ-агенты уже работают в продакшене. Она берёт записанные трейсы (определяет 12 форматов, включая LangSmith, Langfuse, Braintrust, OpenAI SDK, Claude Code и Codex) и сводит их к единой схеме по шагам. Затем каждый шаг повторно прогоняется через более дешёвые модели-кандидаты, а результат сравнивается с ответом, который уже был принят. Для каждого шага считаются согласие с прежним ответом, экономия, число примеров и случаи воздержания при слабых данных. Утверждённые замены уходят черновым pull request, который меняет только идентификаторы моделей и содержит доказательства. Работает офлайн, в запросах приложения не участвует. Лицензия MIT, аккаунтов и телеметрии нет.
Возможности
Автоопределение формата трейсов
Распознаёт 12 форматов трейсов: Claude Code, Codex, LangSmith/LangGraph, OpenAI SDK, Langfuse, Braintrust, Phoenix, OpenTelemetry GenAI, Vercel AI SDK, Helicone, W&B Weave, Bifrost. Все они приводятся к единой схеме по шагам.
Повторный прогон на дешёвых моделях
Каждый шаг агента воспроизводится на ваших реальных входных данных через модели-кандидаты. Для каждого шага считаются согласие с принятым ответом, стоимость и число примеров.
Независимая оценка ответов
Ответы оценивает модель-судья другого разработчика, порядок сравнения меняется. Вместо встроенного судьи можно подключить Braintrust, Langfuse, LangSmith или promptfoo.
Воздержание при слабых данных
Если примеров мало, утилита не даёт вердикт. Результаты выдаются как статистические нижние оценки, замена должна ещё раз пройти порог качества на отложенных примерах.
Замена моделей через pull request
Команда apply открывает черновой pull request, где меняются только идентификаторы моделей, а в описании приложены доказательства по каждой замене. Откат одной командой открывает PR с прежним состоянием.
Оценка расходов заранее
Команда estimate показывает ожидаемую стоимость прогона без платных вызовов, а параметр --max-cost-usd ограничивает расходы.
Любой OpenAI-совместимый endpoint
Кандидаты запускаются через OpenRouter, Vercel AI Gateway, прокси LiteLLM или другой совместимый endpoint с вашим ключом. Можно использовать и вход claude или codex.
Скилл для кодинг-агента
Утилиту можно подключить как скилл для кодинг-агентов, чтобы запускать проверку из рабочей среды разработчика.
Кому подойдёт
- Разработчики
Нужно снизить расходы на LLM в продакшен-агентах и менять модели с доказательствами, а не наугад.
- Менеджеры проектов и продуктов
Решение о смене модели принимается на основе измеренной экономии и согласия с прежними ответами.
- Аналитики
Позволяет оценить качество и стоимость моделей на реальных трейсах продукта.
- Предприниматели и руководители
Помогает сократить счета за API моделей в ИИ-продуктах без ручных экспериментов.
Как начать
- Убедиться, что установлен Node.js 24 или новее, и перейти в Git-репозиторий с хотя бы одним коммитом.
- Запустить npx rightmodeler init и указать каталог с трейсами агента.
- Задать ключ провайдера (например, OpenRouter) в RIGHTMODELER_API_KEY и проверить расходы командой estimate.
- Запустить прогон и изучить вердикты по каждому шагу.
- Выполнить rightmodeler apply, чтобы открыть черновой pull request с утверждёнными заменами.
Тарифы
Платить нужно только провайдеру за повторные прогоны и оценку по собственному ключу. Размещённый агент доступен по списку ожидания.
Ограничения
- Требуется Node.js 24 или новее и Git-репозиторий.
- В трейсах должен быть учёт токенов для каждого вызова.
- Измеряется согласие с прежним ответом, а не его правильность.
- Прогоны и оценка платные у провайдера, без --max-cost-usd расходы не ограничены.
- Записанные диалоги отправляются на выбранный endpoint или провайдеру плана.
- Живой трафик не маршрутизируется, утилита работает только офлайн.
- Размещённый агент доступен по списку ожидания, самостоятельный нужно собирать из репозитория.
Платформы и интеграции
Соседи по смыслу
за последний месяц