Flint AI CLI
Консольный инструмент, который проверяет код ИИ-агентов на уязвимости и тестирует их состязательными запросами перед запуском.
- Можно попробовать бесплатно
- Да
- Без регистрации
- Да
- Русский интерфейс
- Нет
- Разработчик
- SandboxAQ
- Страна
- США
Flint AI CLI — консольная утилита для проверки ИИ-агентов до выхода в продакшен. Она анализирует исходный код агента на уязвимости и тестирует работающего агента состязательными запросами, а результаты сопоставляет с OWASP Top 10 для LLM. Инструмент работает локально: код не отправляется никуда, кроме обращений к выбранному разработчиком провайдеру языковой модели (Gemini, OpenAI, Anthropic или LiteLLM). Поддерживает популярные фреймворки для агентов, включая OpenAI Agents SDK, LangGraph, CrewAI, AutoGen и Google ADK. Проект переименован: сейчас он развивается как Switch Trust CLI в составе продуктов Switch AI компании SandboxAQ.
Возможности
Статический анализ кода агента
Команда scan проверяет исходники без запуска и находит уязвимости, ошибки конфигурации и небезопасный доступ к инструментам. Находки сопоставляются с OWASP Top 10 и получают оценку критичности CVSS.
Состязательные тесты агента
Команда eval отправляет работающему агенту враждебные запросы и выставляет итоговую оценку от 0 до 100%. Агент должен быть доступен по HTTP.
Проверка на prompt injection
Встроенные тесты охватывают внедрение инструкций, обход ограничений (jailbreak), утечки персональных данных и секретов.
Мастер настройки
Команда init помогает выбрать провайдера модели (Gemini, OpenAI, Anthropic или LiteLLM) и сохранить ключ API.
Поддержка фреймворков
Работает с Google ADK, OpenAI Agents SDK, LangGraph, CrewAI, AutoGen, HuggingFace smolagents и другими. Привязки к одному фреймворку нет.
Свои тесты
Помимо встроенных проверок можно добавлять собственные тесты под конкретного агента.
Локальная работа
Анализ идёт на компьютере разработчика. Телеметрия включается только по согласию и анонимна.
Кому подойдёт
- Разработчики
Проверка кода и поведения агентов на уязвимости до выкатки, в том числе в локальной среде или CI.
- Исследователи и учёные
Оценка устойчивости агентов к prompt injection и jailbreak по методике OWASP.
- Агентства и фрилансеры
Аудит безопасности агентов, которых они делают для клиентов, перед сдачей.
Как начать
- Установить пакет командой pip install switch-trust-cli (нужен Python 3.11 или новее).
- Установить OpenGrep, который требуется для сканирования кода.
- Запустить мастер init и указать провайдера модели и ключ API.
- Выполнить scan в папке с исходниками агента и изучить найденные уязвимости.
- Запустить агента и проверить его командой eval, получив итоговую оценку.
Тарифы
Инструмент бесплатный; оплачивается лишь использование API выбранного провайдера модели.
Ограничения
- Для scan нужен Python 3.11+ и OpenGrep.
- Для eval агент должен быть доступен по HTTP.
- Для работы нужен ключ API одного из провайдеров моделей, обращения к нему платные.
- Расширенные оценки (токсичность, локальные модели, garak) требуют дополнительной установки с пакетом full.
- Проект переименован в Switch Trust CLI; команды называются switch-trust, а не flintai.
Платформы и интеграции
Соседи по смыслу
за последний месяц