Google представила Genie 4 с генерацией звука и персонажами

Genie 4 позволяет перемещаться по сгенерированному окружению, взаимодействовать с ним и менять происходящее прямо во время симуляции. Главное нововведение — нативная генерация звука: модель создаёт шум ветра, звуки окружающей среды, музыку и диалоги персонажей, причём реплики могут меняться в зависимости от действий пользователя.

Миром можно управлять текстовыми командами — например, изменить погоду, добавить персонажа или переместить камеру; модель перестраивает сцену на лету. За происходящим следят модели Gemini: Gemini 3.8 Flash работает как управляющий агент, Gemini Omni привязывает визуальную часть к реальному миру, а Gemini 4 Argon экспериментально используют для планирования сложных сценариев.

По словам разработчиков, Genie 4 лучше справляется с физикой: столкновениями, аэродинамикой и движениями людей. Среди возможных применений — тренировочные среды для роботов и ИИ-агентов, прототипирование игровых механик и визуализация сцен для кино. Длительность симуляции пока ограничена примерно двумя минутами, при продолжительной работе модель может терять детали окружения и ошибаться в физике; точность звука и генерация читаемого текста тоже остаются проблемными местами.