Genie
Модель Google DeepMind, которая строит объёмный мир по тексту или картинке и достраивает его вокруг вас, пока вы идёте, едете или летите.
Genie — модель Google DeepMind для генерации интерактивных трёхмерных миров. По текстовому описанию, изображению или фотографии она собирает сцену, в которую можно войти и по которой можно свободно перемещаться: идти пешком, ехать, лететь или плыть. Мир достраивается в реальном времени в той стороне, куда движется камера, поэтому прогулка не упирается в границы готовой локации.
Внутри сцены действуют связные законы физики: предметы сталкиваются, вода течёт, трава и деревья колышутся под ветром, персонажи двигаются и реагируют на происходящее. Мир можно менять на ходу обычной фразой — добавить героя, сменить погоду, устроить событие и посмотреть, к чему оно приведёт. Звук создаётся вместе с картинкой: шаги, гул помещений, голоса персонажей.
Модель опирается на семейство Gemini: одни модели отвечают за реалистичность облика и поведения сцены, другие помогают удерживать связность длительной симуляции и планировать цепочки событий. Миры применяются и вне развлечений: в них обучают и проверяют ИИ-агентов и роботов.
Genie открыта в раннем доступе: сначала доверенным тестировщикам, затем в Project Genie по подписке Google AI Ultra, а также партнёрам по Gemini API и Google AI Studio.
Возможности
Генерация на ходу
Мир строится в реальном времени по мере движения камеры, без заранее загруженной сцены.
Правка словами
Погоду, персонажей и события меняют текстовой фразой прямо во время прогулки по миру.
Физика и последствия
Предметы сталкиваются, вода течёт, деревья качаются, а события разворачиваются по правдоподобным причинам и следствиям.
Нативный звук
Звук появляется вместе с картинкой: шаги по снегу, гул помещений, речь персонажей и их разговоры между собой.
Мир по картинке
Основой сцены может стать изображение или набросок — их стиль и композиция переносятся в объёмный мир.
Полигон для агентов
В сгенерированных мирах тренируют и проверяют ИИ-агентов и роботов, в том числе вместе с Gemini Robotics.
Что ещё умеет Genie
- Нативный звук
Звук создаётся вместе с изображением: шаги, окружение, речь персонажей и их диалоги между собой.
- Правка мира на ходу
Погоду, персонажей и события меняют текстовой фразой прямо во время симуляции.
- Планирование событий
Модели Gemini помогают выстраивать причинно-следственные цепочки и удерживать связность сцены.
Кому подойдёт
- Разработчики
Прототипируют уровни и окружения для игр и симуляторов, не собирая трёхмерную сцену вручную.
- Исследователи и учёные
Проверяют ИИ-агентов и роботов в разнообразных средах, которые создаются по описанию.
- Дизайнеры
Быстро проверяют идею локации и атмосферы, меняя стиль и детали прямо в процессе.
- Авторы контента и блогеры
Записывают прохождения и ролики по собственным мирам.
Как начать
- Подайте заявку на ранний доступ к Genie и Project Genie.
- Опишите сцену текстом или приложите изображение и задайте персонажа.
- Выберите способ перемещения: пешком, на транспорте, в полёте или вплавь.
- Меняйте мир фразами на ходу и записывайте удачные прохождения.
Тарифы
Ранний доступ также открыт доверенным тестировщикам и партнёрам Gemini API и Google AI Studio.
Ограничения
- Детали сцены и постоянство объектов могут меняться по ходу длительной симуляции.
- Сложные взаимодействия нескольких персонажей и общей среды проработаны не полностью.
- Реальные места воспроизводятся неточно.
- Надписи в сцене читаются, только если заданы в описании.
- Одна сессия длится несколько минут, а не часы.
- Точность звука ещё дорабатывается.
Платформы и интеграции
Соседи по смыслу
за последний месяц