Netflix представила VOID (Video Object Inpainting and Decomposition) — фреймворк, который переводит задачу удаления объектов из видео на рельсы латентной диффузии. В отличие от классических методов, которые часто грешат «заплаточным» подходом, VOID использует механизм декомпозиции сцены. Модель разделяет видеопоток на слои фона и динамические маски, что позволяет нейросети не просто закрашивать пиксели, а реконструировать структуру сцены с учетом глубины и перспективы.
Техническое ядро VOID сфокусировано на решении проблемы темпоральной связности (temporal consistency), которая является ахиллесовой пятой большинства диффузионных моделей. Благодаря специфическим механизмам внимания (attention) и анализу межкадровых связей, модель минимизирует артефакты мерцания и «плавающих» текстур. В сравнительных тестах VOID демонстрирует превосходство над текущим SOTA-решением в лице ProPainter, обеспечивая более стабильное заполнение зон за маской даже при быстром движении камеры или перекрытии объектов.
Архитектурно VOID спроектирована как гибкий пайплайн, способный работать с масками любой сложности — от удаления мелких проводов до полной замены крупных объектов в кадре. Одной из ключевых фишек стала поддержка поэтапного инференса, что позволяет модели сохранять детализацию текстур без потери общего контекста сцены. Разработчики реализовали проект на базе PyTorch и обеспечили нативную совместимость с экосистемой Diffusers, что значительно упрощает интеграцию VOID в профессиональные VFX-пайплайны и создание кастомных расширений.
Для развертывания модели «в один клик» потребуются серьезные ресурсы: стандартный запуск оптимизирован под GPU уровня NVIDIA A100 (40 ГБ VRAM). Однако для сообщества предусмотрены сценарии оптимизации — использование model_cpu_offload и sequential_cpu_offload позволяет уместить инференс в 24 ГБ видеопамяти, что делает модель доступной для владельцев RTX 3090/4090. Веса и исходный код уже доступны на GitHub, что открывает путь к созданию инструментов голливудского уровня для всех разработчиков.
Это важный шаг в сторону автоматизации самого трудоемкого этапа постпродакшена — ротоскопинга и клинапа. Открытость VOID позволяет не только использовать её как готовый инструмент, но и использовать как базу для fine-tuning под специфические задачи кинопроизводства. Netflix опубликовал нейросеть VOID (Video Object and Interaction Deletion), которая может удалять не только объекты, их тени или отражения, но и физические последствия их присутствия в кадре.
Работа пайплайна строится на объединении двух моделей. Сначала визуально-языковая модель анализирует сцену и создаёт маску для областей, которые должны изменить траекторию. Затем видео-диффузионная модель перерисовывает кадры с учётом физики. Для защиты от потери геометрии предусмотрен опциональный второй проход с использованием векторов движения для фиксации формы предметов.
Нейросеть обучалась на специально сгенерированных синтетических датасетах Kubric и HUMOTO. Исходный код и веса модели размером 22,3 ГБ выложены на GitHub и Hugging Face, там же доступно рабочее демо.