Gemini Robotics ER
Модель воплощённого рассуждения: разбирается в сцене по видео и звуку, планирует многошаговые задачи и передаёт движение роботу.
- Можно попробовать бесплатно
- Да
- Без регистрации
- Нет
- Разработчик
- Версия
- 2 · с 30 июля 2026
- Страна
- США
Gemini Robotics ER — модель воплощённого рассуждения (embodied reasoning) из семейства Gemini Robotics. Она занимает верхний уровень управления машиной: по изображениям, видео и звуку разбирается, что происходит вокруг, отвечает на вопросы о сцене, находит предметы и указывает их точки и рамки, выстраивает последовательность шагов и объясняет человеку свои решения.
Движение модель оставляет нижнему уровню — любой vision-language-action модели или собственным API робота, которые подключаются к ней как инструменты. Поэтому одна и та же reasoning-модель ставится на разные платформы: манипулятор, мобильного робота, человекоподобную машину. Во время выполнения задачи она сверяется с видео и понимает, когда шаг завершён и пора переходить к следующему.
Продукт открыт разработчикам через Gemini API и Google AI Studio, а для сценариев, где важна задержка, есть отдельный стриминговый вариант через Live API. Модель поставляется в статусе публичного превью.
Возможности
Планирование задач
Разбивает просьбу вроде «положи яблоко в миску» на шаги и вызывает нужные функции робота.
Понимание видео
Работает с непрерывным видеопотоком: отслеживает ход задачи, находит нужные моменты и замечает сбои.
Пространственное мышление
Указывает координаты объектов, строит рамки и траектории, читает показания приборов.
Несколько роботов
Помогает машинам разного типа делить общую задачу и передавать её друг другу.
Общение на обычном языке
Принимает команды без технических формулировок и поясняет, что собирается делать.
Работа через API
Текстовый, графический, видео- и аудиовход, ответ в виде текста и структурированных данных.
Учёт безопасности
Соблюдает заданные ограничения и останавливает машину, когда рядом появляется человек.
Что ещё умеет Gemini Robotics ER
- Классификация прогресса задачи
По непрерывному видеопотоку оценивает, насколько задача выполнена, и подсказывает, когда шаг можно считать завершённым.
- Поиск ключевых моментов на видео
Определяет кадр, в который происходит важное событие, например момент, когда пора прекратить наливать жидкость.
- Совместная работа нескольких роботов
Роботы обмениваются общим пониманием сцены, распределяют шаги задачи и передают работу друг другу.
- Стриминговый эндпоинт Live API
Двунаправленный поток аудио и видео с вызовом функций на ходу, без пауз между размышлением и действием.
- Чтение приборов и шкал
Распознаёт показания цифровых дисплеев, линеек, шкал и термометров, а не только круглых циферблатов.
Кому подойдёт
- Разработчики
Подключают модель по API и описывают интерфейсы своего робота как инструменты.
- Исследователи и учёные
Проверяют гипотезы о пространственном и временном рассуждении машин на реальных платформах.
- Предприниматели и руководители
Строят на готовой модели верхний уровень управления вместо собственной разработки.
Как начать
- Получите ключ Gemini API в Google AI Studio и ограничьте его по нужному проекту.
- Откройте модель в Google AI Studio или установите Google Gen AI SDK для Python, JavaScript, Java либо Go.
- Отправьте изображение, видео или аудио вместе с текстовым запросом и заберите структурированный ответ.
- Опишите навигацию и манипуляции робота как функции, чтобы модель планировала и выполняла многошаговые задачи.
Тарифы
Цены действуют до 31 декабря 2026 года, с 1 января 2027 года вход и выход дорожают вдвое.
Ограничения
- Модель в статусе превью: интерфейс и поведение могут меняться.
- Запросы с неограниченным ключом API отклоняются, ключ нужно ограничить.
- На неоднозначных запросах и необычных сценах возможны ошибки и выдуманные детали.
- Качество ответа зависит от формулировки запроса, освещения и чёткости кадров.
- Видеовход и высокий уровень размышлений увеличивают задержку и стоимость.
- Ответственность за безопасное окружение вокруг робота остаётся на разработчике.
Платформы и интеграции
Семейство
Соседи по смыслу
за последний месяц