FunctionGemma
Компактная открытая модель Google на 270 млн параметров, которая превращает фразы на естественном языке в вызовы функций и действий в приложении.
FunctionGemma — открытая текстовая модель Google на 270 миллионов параметров, созданная для вызова функций. Она принимает запрос пользователя и определяет, какую из описанных разработчиком функций нужно выполнить и с какими аргументами: просьба поставить будильник на семь утра превращается в структурированный вызов системного инструмента. После выполнения модель возвращается к обычному языку и коротко пересказывает результат.
Модель построена на базе Gemma 3 270M и дообучена на связках «запрос — вызов функции — ответ инструмента». Небольшой размер позволяет запускать её на телефоне, ноутбуке или одноплатном компьютере без обращения к серверу, поэтому она годится для приватных и офлайновых сценариев: голосовое управление устройством, умный дом, навигация, медиаплеер. Рабочий путь — дообучение на собственном наборе функций: в демонстрационном наборе Mobile Actions точность после настройки выросла с 58 до 85 процентов.
FunctionGemma рассчитана и на роль локального диспетчера: простые команды она выполняет на месте, а сложные запросы передаёт большой модели вроде Gemma 3 27B. Веса открыты и разрешены к коммерческому использованию по лицензии Gemma.
Возможности
Вызов функций по фразе
Превращает просьбу на естественном языке в вызов нужного инструмента с готовыми аргументами.
Действие и пересказ
Сначала формирует вызов, затем переходит к ответу и объясняет результат выполнения обычным языком.
Работа без сервера
Помещается на телефон и одноплатный компьютер, поэтому обрабатывает команды офлайн и не отправляет данные наружу.
Настройка под свои API
Дообучается на собственном наборе функций через Hugging Face Transformers, Unsloth, Keras или NVIDIA NeMo.
Низкая задержка
На смартфоне выдаёт первый токен примерно за 0,3 секунды и генерирует около 126 токенов в секунду.
Контекст 32 тысячи токенов
Принимает длинные описания инструментов и историю вызовов в одном запросе.
Что ещё умеет FunctionGemma
- Вызов функций
Модель выдаёт структурированный вызов инструмента с аргументами, а затем переходит к обычному ответу и пересказывает результат.
- Экономная токенизация JSON
Словарь Gemma на 256 тысяч токенов сжимает JSON и многоязычный ввод, сокращая длину последовательности и задержку на устройстве.
- Дообучение под домен
Открытый рецепт и набор данных Mobile Actions позволяют настроить модель на свои команды и системные вызовы.
Кому подойдёт
- Разработчики
Собирают локальных агентов и превращают голосовые или текстовые команды в вызовы API приложения.
- Исследователи и учёные
Изучают дообучение малых моделей на узких задачах и поведение агентов на устройстве.
- Менеджеры проектов и продуктов
Оценивают, можно ли закрыть сценарии ассистента без обращений к облаку и платы за токены.
Как начать
- Скачать веса с Hugging Face или Kaggle: модель открыта и распространяется по лицензии Gemma.
- Описать свои функции и их аргументы в формате вызова функций, который понимает модель.
- Дообучить модель на примерах запросов и правильных вызовов через Hugging Face Transformers, Unsloth, Keras или NVIDIA NeMo.
- Запустить локально в LiteRT-LM, llama.cpp, MLX, Ollama или LM Studio.
- Встроить модель перед большой языковой моделью: простые команды она берёт на себя, сложные передаёт дальше.
Тарифы
Отдельно оплачиваются только вычисления, если модель запускают в облаке.
Ограничения
- Не предназначена для прямого диалога с пользователем без дообучения.
- Работает только с текстом: изображения, звук и видео не принимает.
- Знания в обучающих данных ограничены августом 2024 года.
- В сложных сценариях вызова функций уступает крупным моделям: параллельные и множественные вызовы даются ей хуже одиночных.
- Надёжный результат требует своего набора данных и дообучения под конкретный набор инструментов.
- Часть оценок безопасности и качества проведена только на английском языке.
Платформы и интеграции
Семейство
Соседи по смыслу
за последний месяц