Microsoft представила искусственный интеллект, способный понимать трёхмерное пространство. Новая модель под названием Muse может анализировать и генерировать сложные игровые последовательности, сохраняя при этом физику и поведение персонажей.

Исследователи компании опубликовали результаты своей работы в журнале Nature. Модель обучалась исключительно на основе наблюдений за игровым процессом реальных людей — было использовано более семи лет записей геймплея из игры Bleeding Edge для Xbox. В отличие от традиционных моделей ИИ, работающих с текстом или статическими изображениями, Muse развивает «практическое понимание» того, как объекты, персонажи и окружающая среда взаимодействуют в трёхмерном пространстве во времени.

«Архитектура модели не привязана к конкретной игре. Единственное требование — доступ к соответствующему набору данных», — пояснила Катя Хофманн, старший главный менеджер по исследованиям в Microsoft Research. «Мы разработали модель для использования наиболее универсального формата данных, который называем "человеческим интерфейсом" — это визуальные элементы и действия контроллера».

Такой подход позволяет Muse генерировать последовательные игровые сценарии продолжительностью до двух минут, что является значительным техническим достижением в поддержании согласованного взаимодействия в трёхмерном мире на протяжении длительного времени. Системе достаточно одной секунды игрового видео в качестве входных данных, чтобы создать сложные сценарии, соответствующие физике игры и поведению персонажей.

При разработке Muse учитывалось мнение создателей игр — исследователи Microsoft провели интервью с 27 разработчиками, включая студии как из развитых, так и из развивающихся стран. Это позволило убедиться, что технология будет отвечать реальным творческим потребностям.

Microsoft видит более широкие возможности применения технологии за пределами игровой индустрии. Питер Ли, президент Microsoft Research, отметил потенциальное использование в архитектуре, розничной торговле и производстве: «От перепланировки кухни до редизайна торгового пространства и создания цифрового двойника заводского цеха для тестирования различных сценариев».

Для игровой индустрии Xbox рассматривает возможность использования этой технологии для сохранения классических игр. «Благодаря этому прорыву мы изучаем потенциал Muse для оптимизации старых игр из каталога наших студий под любые устройства», — сообщила Фатима Кардар, корпоративный вице-президент по игровому ИИ в Microsoft.