Нейросеть Microsoft Muse, созданная для генерации игр на лету, получила крупное обновление. Разработчики продемонстрировали, как ИИ справляется с воссозданием геймплея Quake II, и открыли доступ к демоверсии необычной версии шутера.
Microsoft Muse генерирует игровой процесс на лету, основываясь на управлении пользователей. В специальной версии Quake II нейросеть не использует заранее заданные текстуры, а создает их самостоятельно благодаря архитектуре World and Human Action Model (WHAM). Именно она позволяет модели создавать геймплей на лету.
В новой модели Muse технологию обновили до World and Human Action MaskGIT Model (WHAMM), что дало ей ряд улучшений. Например, вместо семи лет в обучении новой модели требуется всего лишь одна неделя данных. Кадровая частота возросла с 1 до 10 кадров в секунду, а разрешение — с 300×180 до 640×360 пикселей.
Одной из целей Muse является создание ремастеров старых игр, хотя нейросеть все еще далека от этого уровня. В технической демо версии длина контекста составляет 0,9 секунды, что означает, что объекты не существуют вне этого времени. Враги могут отображаться неправильно, а модель воссоздает только оформление одного уровня Quake II, на котором она обучена.
Опыт использования ИИ-модели доступен на официальном сайте ИИ-помощника Copilot (только для стран, где он доступен). Microsoft представила экспериментальную технологию WHAMM, которая генерирует игровое окружение в реальном времени с помощью искусственного интеллекта. В демо-версии пользователи могут управлять персонажем, прыгать, стрелять и размещать объекты.
Новая модель является частью проекта Copilot Labs и семейства Muse. WHAMM использует стратегию MaskGIT, позволяющую генерировать все токены изображения параллельно. По сравнению с WHAM-1.6B, которая выдаёт только один кадр в секунду, новая версия стала в 10 раз быстрее, а разрешение увеличилось с 300×180 до 640×360 пикселей.
Для обучения WHAMM достаточно одной недели геймплея, записанного профессиональными тестировщиками. В то время как предыдущая версия алгоритма требовала семь лет для сбора данных.
Демонстрация поддерживает основные элементы игры, однако имеет и ограничения: враги отображаются размыто, объекты исчезают за пределами камеры, а задержка между нажатиями клавиш и действиями игрока все еще заметна. Область симуляции ограничена фрагментом первого уровня. Microsoft рассматривает WHAMM как экспериментальную платформу для будущих ИИ-игр, что может снизить затраты на разработку и ускорить производственный цикл.