Один из демонстрационных промптов Google для Genie 4 усаживает вас на чёрного дракона, несущегося со скоростью 140 км/ч, — взмахи крыльев прилагаются. В том же анонсе признаётся, что объекты в таком мире могут смещаться и меняться, если задержаться в нём надолго. Это противоречие проходит через весь релиз. Во вторник Google DeepMind представила Genie 4 в виде предварительной исследовательской версии для доверенных тестировщиков. Это самая фотореалистичная и интерактивная на сегодняшний день версия модели мира компании — со звуком, речью и правками прямо во время работы симуляции.
Что меняется в Genie 4
Genie 3 появилась в виде предварительной исследовательской версии чуть больше года назад. На её основе работает Project Genie — инструмент Google для создания интерактивных миров по текстовым промптам или изображениям. Genie 4 — её преемница, и Google выделяет четыре основных обновления.
- Более реалистичные миры. Улучшенный фотореализм, более плавные движения, более убедительная физика и люди, больше похожие на настоящих.
- Правки на ходу. Вы вводите промпт на естественном языке, и сцена меняется в реальном времени. Можно менять погоду и положение камеры, добавлять нового человека или объект.
- Встроенный звук. Музыка, фоновые шумы и устные диалоги генерируются вместе с миром, а не добавляются постфактум.
- Gemini в контуре управления. Gemini 3.8 Flash помогает управлять симуляцией; ниже этому посвящён отдельный раздел.
Продолжительность сессии тоже удваивается. Genie 4 может поддерживать согласованность сцены примерно до двух минут, тогда как Genie 3 — около одной минуты. Две минуты — не полнометражный фильм, но это вдвое больше, чем удавалось предыдущей модели, а в этой области это уже считается прогрессом.
Пользователи перемещаются по миру с помощью стандартных клавиш навигации и управления камерой, а по мере его развития направляют происходящее текстовыми промптами. В собственных материалах Google говорится, что Gemini адаптирует каждый промпт к окружающей сцене. Так что введённый вами текст — это предложение, которое перерабатывается с учётом мира, в котором вы находитесь.
Gemini в роли режиссёра
Самое интересное изменение касается не картинки. Genie 4 опирается на семейство Gemini, и Google распределяет работу между несколькими моделями.
Gemini Omni отвечает за соответствие внешнего вида и поведения симуляции реальному миру. Другие модели Gemini обеспечивают рассуждения, которые поддерживают согласованность и непрерывность симуляции. А Gemini 3.8 Flash работает внутри цикла реального времени в роли того, что Google называет направляющим агентом. Пока Genie генерирует мир, Gemini наблюдает за сценой, разбивает цель на шаги, проверяет поступающие кадры, чтобы убедиться, что каждый шаг действительно выполнен, и пересматривает план, когда мир меняется или вмешивается пользователь. Между вашими командами она также управляет сценой, чтобы события продолжали развиваться осмысленно.
По утверждению Google, это даёт миры с более надёжными причинно-следственными связями, процедурным поведением и многошаговыми рассуждениями. В публикации упоминаются Gemini Omni, Gemini 3.8 Flash, а позднее — Gemini 4 Argon, так что под названием «Genie 4» теперь скрывается изрядное количество Gemini.
Теджас Кулкарни, директор по исследованиям в Google, рассказал журналистам на брифинге, куда, по его мнению, всё движется: «В будущем мы всё чаще будем видеть такие гибридные модели мира, в которых Gemini пишет код и текст, а Genie воспринимает их в реальном времени и моделирует реальность на разных уровнях абстракции».
Google ставит амбициозные цели. В анонсе понимание и моделирование мира названы ключевой частью создания AGI, а Genie 4 представлена как источник безопасных, бесконечно разнообразных симуляций для обучения роботов и агентов, а также новых интерактивных возможностей.
Звук, речь и люди
DeepMind называет Genie 4 своей первой моделью мира реального времени со встроенной генерацией звука. Каждый мир сопровождается характерным для его обстановки фоновым звучанием — от ветра в деревьях до волн на пляже, — и все звуки в демонстрационных роликах Google созданы непосредственно моделью.
Именно речь Google считает настоящим новым рубежом. Персонажи могут разговаривать и реагировать на ваши команды или события в мире, а диалоги адаптируются на лету.
Ещё один заявленный Google скачок касается людей. По словам компании, теперь персонажи двигаются естественно, реагируют на окружение, а управлять ими можно в реальном времени. Что касается физики, Google утверждает, что Genie 4 моделирует, например, аэродинамику и столкновения, опираясь на то, что компания называет продвинутым физическим пониманием мира.
Вся эта информация основана на демонстрациях самой Google, и как минимум один журналист, освещавший запуск, сообщил, что ему не удалось попробовать модель. Поэтому сравнения с Genie 3 пока опираются на собственные ролики Google.
О чём говорят демонстрационные промпты
Google опубликовала промпты, использованные для многих роликов, и они говорят о модели больше, чем эпитеты. Некоторые короткие. Венценосный журавль идёт по снегу под сумеречным небом. Макросъёмка кленового семени, падающего в траву. Целый арбуз в зелёную полоску на каменном постаменте, с каплями в воздухе, подсвеченными контровым светом в замедленной съёмке.
Другие напоминают техническое задание от человека, который уже обжигался на работе с продакшен-студией. Промпт с японской железнодорожной станцией 1980-х настаивает на плотной толпе и красном поезде на ближайшем пути, а затем исключает пустые платформы, поезд вдалеке, малочисленные толпы и симметричную композицию. Промпт с гонкой на драконе требует строго вида от первого лица, а затем подробно перечисляет все нежелательные ракурсы камеры. Саксофонист на плавучей платформе посреди туманного озера сопровождается категорическим запретом на HDR.
Диапазон широк. Среди других примеров:
- поток атласа цвета розовой жвачки, вьющийся через луг с полевыми цветами
- полёт на воздушном шаре над Антарктидой от первого лица
- полностью витражный пейзаж, в котором даже трава и небо должны оставаться стеклянными
- романтическая сцена на мотоцикле в Гонконге 1995 года на рассвете, снятая на 35-мм плёнку
- вид от первого лица на палочку волшебника в комнате, полной фарфоровых животных
- фокусник возле стола и настоящий павлин, стоящий в открытом ящике
Смысл этих примеров — показать, что модель следует длинным, конкретным инструкциям с массой стилистических требований, а затем результат можно продолжать редактировать с помощью новых текстовых команд.
Испытания роботов в мире, которого не существует
Демонстрации робототехники показывают самую самобытную идею этого релиза. В одном ролике Universal Robots UR5 держит пипетку и дозирует жидкость в лабораторный планшет, при этом появляются крошечные электрические искры. В более сложном примере Genie 4 работает в паре с Gemini 4 Argon в исследовательском эксперименте, связанном с Gemini Robotics.
Принцип работы описать несложно. Argon получает задачу от пользователя и разбивает её на шаги. Эти шаги передаются в Genie 4 в виде текстовых подписей, пока идёт отрисовка симуляции. А поскольку Genie 4 можно управлять текстом в реальном времени, симуляция способна адаптироваться по мере продвижения к выполнению задачи. В демонстрационном примере гуманоидный робот Apollo компании Apptronik играет в шашки, а задача разбивается на шаги в реальном времени.
По мнению Google, это способ проверить, как ИИ-системы справляются с разными средами, прежде чем они столкнутся с реальным миром. Это представлено как направление развития, а не готовый результат, и в опубликованных Google материалах не приводится никаких численных результатов бенчмарков.
Чем занимаются доверенные тестировщики
Google работает с группами доверенных тестировщиков из творческих индустрий, журналистики, образования, игровой индустрии и инженерии. Компания сообщает о четырёх видах применения.
- Креативная режиссура. Кинематографисты и специалисты по технологиям используют Genie 4 как «черновой режим» для превизуализации. Они входят в работающую симуляцию сцены и делают несколько дублей, на лету меняя ракурсы камеры, освещение, диалоги и действие.
- Исторические сценарии и фотографии с эффектом погружения. Фотожурналисты за считаные секунды превращают одну архивную 2D-фотографию в симуляцию изображённого места. Команды также тестируют населённые динамичные миры для исследования исторических пространств или визуализации кратковременных событий, таких как внезапное наводнение или лесной пожар.
- Концепт-дизайн интерактивных проектов. Разработчики игр за секунды переходят от идеи к прототипу, который можно исследовать, пробуя визуальные стили, материалы и механики через промпты ещё до написания кода для игрового движка.
- Симуляции. Корпоративные партнёры оценивают Genie 4 для быстрого создания сценариев «с нуля до первого результата» и сообщают Google, где модель не справляется.
Применение в кинопроизводстве привлекло внимание на пресс-брифинге. Инженер Google DeepMind Диего Ривас сказал: «Работа в реальном времени особенно ценна в тех областях, где сохранение состояния творческого потока оказывается невероятно полезным». Он привёл в пример поиск идей и раскадровку — и вообще любые ситуации, где нужно быстро генерировать идеи.
Google уже продаёт Veo, свою модель генерации видео, которая создаёт ролики высокого разрешения с синхронизированным звуком по текстовым промптам, изображениям или видео и набирает популярность среди кинематографистов. Ривас предположил, что со временем пользователи смогут использовать Gemini Omni — мультимодальную модель, генерирующую видео из изображений, аудио и текста, — чтобы превращать прототипы Genie в готовые творческие материалы. По его словам, до этой возможности ещё далеко.
В одном из более ранних гипотетических примеров интерактивного обучения ученик мог бы войти в картину с исторической сценой и поговорить с изображёнными на ней людьми.
Где модель всё ещё даёт сбой
Раздел об ограничениях предельно прямолинеен и, что приятно, конкретен. Genie 4 может сохранять согласованность среды в течение коротких сессий, но визуальные детали могут меняться или постепенно искажаться, а постоянство объектов — нарушаться. Проблемы усиливаются по мере увеличения продолжительности симуляции, после нескольких сложных правок промптами или при перемещении по сцене.
Google перечисляет и другие направления, над которыми продолжаются исследования:
- сложные физические взаимодействия
- точность звука в реальном времени
- отрисовка разборчивого текста
- пространственная точность
- долгосрочная согласованность
На брифинге команда добавила, что пока не нашла способ гарантировать точность звука или читаемость текста внутри мира. Ривас подчеркнул, что работа находится на ранней стадии и пока неясно, как будет устроен весь процесс работы пользователя с конечным продуктом.
Иными словами, за арбуз на постаменте можно быть спокойным две минуты. За пределами этого срока сами авторы модели ничего не обещают.
Защитные ограничения и водяные знаки
Google заявляет, что в Genie 4 действуют строгие защитные ограничения, соответствующие её правилам для других моделей. Перед запуском предварительной версии компания провела внутренние оценки безопасности, призванные предотвратить генерацию вредного или злонамеренного контента. Ограничение первого выпуска кругом доверенных тестировщиков — часть того же подхода: так компания собирает обратную связь до более широкого запуска.
Все видео и аудио, сгенерированные Genie 4, будут содержать SynthID — незаметный цифровой водяной знак Google для распознавания созданного ИИ контента в визуальной и звуковой форме. Для модели, которая генерирует убедительные диалоги наряду с фотореалистичными людьми, такая маркировка вполне разумна.
Доступ и конкурентное окружение
Genie 4 уже доступна доверенным тестировщикам в виде предварительной исследовательской версии. По словам Google, скоро модель появится в Project Genie для подписчиков Google AI Ultra, а также станет доступна партнёрам раннего доступа к Gemini API и Google AI Studio. Согласно публикациям, вышедшим в момент анонса, развёртывание ожидается в ближайшие недели. Записаться в список ожидания Genie 4 в Project Genie уже можно.
Релиз выходит на оживлённом рынке, где идёт консолидация. Стартап Runway, занимающийся ИИ-видео, пару месяцев назад выпустил свою вторую модель мира — GWM Worlds 2. Это интерактивная модель, которая реагирует на команды пользователя и генерирует звук. Тем временем AMD покупает World Labs Фэй-Фэй Ли, Amazon, по сообщениям СМИ, ведёт переговоры о покупке Decart, а Rivian приобрела Third Dimension, чтобы проводить симуляции для испытаний систем автономного вождения собственными силами. Genie 4 — ход Google, призванный сохранить лидерство в этой плотной гонке.
Куда всё движется
Заявленное Google направление — гибридные модели мира. Идея в том, чтобы соединить структурированную логику кода и языковых моделей с богатой сенсорной симуляцией на уровне пикселей, которую обеспечивает модель вроде Genie. За кулисами Gemini выстраивает структуру и планирует последовательность событий, а Genie пиксель за пикселем воспроизводит то, как мир выглядит, звучит и реагирует. Google утверждает, что такая комбинация должна быть более согласованной, управляемой и лучше привязанной к реальному миру, чем каждый из подходов по отдельности.
Так ли это, будет зависеть от тех аспектов, которые в анонсе честно признаются недоработанными. Модель, способная воссоздать гонконгский рассвет 1995 года на 35-мм плёнке, всё ещё не может обещать, что вывеска на заднем плане будет читаемой.