Компания Runway представила новую модель искусственного интеллекта Gen-4 для генерации видео. Разработчики решили одну из ключевых проблем ИИ-генераторов видео — поддержание последовательности персонажей и объектов на протяжении всего видеоряда. Согласно тестам, Gen-4 создает более динамичные видео с реалистичными движениями, сохраняя при этом единый стиль и объекты на всех кадрах. Новая модель может поддерживать согласованность персонажей, используя всего одно эталонное изображение в различных условиях освещения, локациях и художественных обработках. Также модель стала значительно лучше симулировать физические законы в видео. В качестве входных данных пользователи могут использовать как текст, так и изображения.
Для демонстрации возможностей Runway создала несколько демо-фильмов. «Нью-Йорк — это зоопарк» показывает согласованность персонажей, размещая одних и тех же животных в разных сценах города. «Стадо» демонстрирует сцену погони, а ролик «Находка», на создание которого ушло меньше недели, показывает исследователей, ищущих таинственный цветок. Модель Gen-4 уже доступна для платных подписчиков и корпоративных клиентов. Функции работы с референсами будут добавлены в будущем обновлении. Дополнительные примеры можно найти на официальном сайте RunwayML.
Компания Higgsfield также представила свою новейшую разработку в области генеративных видео-моделей — DoP I2V-01-preview. Эта ИИ-модель предназначена для профессионального управления камерой, моделирования окружающего мира и создания кинематографических эффектов с реалистичностью, превосходящей существующие аналоги. Нейросеть DoP I2V-01-preview позволяет пользователям контролировать движение камеры с помощью естественного языка, что дает возможность реализовывать сложные операторские приемы, такие как наезд, слежение и панорамирование. Это значительно снижает случайность в движении камеры и повышает соответствие конечного видео задумке автора.
Пользователи могут воспроизводить реальные операторские техники — от ручной съемки с легкими колебаниями до стабильных слежений, что делает сгенерированные видео максимально приближенными к профессиональному уровню. Идеи использования Higgsfield AI разнообразны: от создания профессиональных видеороликов для соцсетей без оборудования до реконструкции исторических событий на основе архивных данных. Генерация виртуальных локаций и ретушь сцен также становятся доступными без необходимости пересъёмок.