ShieldGemma
Семейство открытых моделей Google, которые оценивают, нарушают ли текст или изображение заданные правила безопасности.
- Без регистрации
- Нет
- Русский интерфейс
- Нет
- Работает с русским языком
- Нет
- Разработчик
- Страна
- США
ShieldGemma — набор дообученных по инструкциям моделей на базе Gemma для оценки безопасности контента. Они проверяют запросы пользователей и ответы генеративных моделей на соответствие заданным политикам и подходят как фильтр на входе и на выходе ИИ-приложения. Текстовые модели построены на Gemma 2 и выпускаются в трёх размерах: 2B, 9B и 27B параметров. Модель для изображений, ShieldGemma 2, имеет 4B параметров и размечает картинки по категориям вреда. Веса открыты, поэтому модели можно запускать у себя и дообучать под собственные правила.
Возможности
Проверка запросов и ответов
Модель оценивает, нарушает ли запрос пользователя или ответ чат-бота заданные правила безопасности, и отвечает «Да» или «Нет».
Четыре категории вреда
Текстовые модели отслеживают опасный контент, преследование, язык вражды и откровенный сексуальный контент.
Проверка изображений
ShieldGemma 2 с 4B параметров размечает изображения по категориям безопасности.
Три размера
Текстовые версии на 2B, 9B и 27B параметров позволяют выбрать между скоростью и точностью.
Свои политики
Правила безопасности задаются в самом запросе, а открытые веса позволяют дообучить модель под свою задачу.
Открытые веса
Модели доступны на Kaggle и Hugging Face, примеры кода есть в блокнотах Colab.
Кому подойдёт
- Разработчики
Ставят модель фильтром перед чат-ботом или после него, чтобы не пропускать недопустимые запросы и ответы.
- Исследователи и учёные
Открытые веса и описание метода позволяют изучать и улучшать автоматическую модерацию контента.
- Предприниматели и руководители
Помогают снизить риски при запуске собственных ИИ-сервисов без закрытых платных API.
Как начать
- Выбрать модель: текстовую ShieldGemma 1 нужного размера или ShieldGemma 2 для изображений.
- Скачать веса с Kaggle или Hugging Face либо открыть готовый блокнот в Colab.
- Оформить запрос по шаблону: вступление, проверяемый текст, формулировка политики и завершающий вопрос.
- Запустить модель и по первому слову ответа, «Yes» или «No», решить, пропускать ли контент.
Тарифы
Затраты зависят от оборудования, на котором запускаются модели.
Ограничения
- Текстовые модели рассчитаны на английский язык.
- Текстовые модели охватывают четыре категории вреда; другие правила нужно описывать самостоятельно.
- Качество зависит от точного соблюдения шаблона запроса.
- Для крупных версий нужна мощная видеокарта.
Платформы и интеграции
Семейство
Соседи по смыслу
за последний месяц