Нейросеть научилась добавлять в готовое видео свет, который прячется за…

Нейросеть научилась добавлять в готовое видео свет, который прячется за реальными предметами

Появился метод, который вставляет виртуальный источник света в уже снятый ролик так, будто он находится внутри сцены. Система анализирует каждый кадр, определяет, что ближе к камере, а что дальше, и строит по этим данным карту глубины.

Дальше начинается самое интересное: свет ведёт себя физически корректно. Стены, люди и предметы перекрывают его, тени ложатся с учётом положения объектов, а при движении камеры освещение меняется вместе со сценой. Именно перекрытие реальными объектами обычно и выдаёт подделку в дешёвых эффектах.

До сих пор такой результат требовал ручной работы: трекинга камеры, восстановления геометрии сцены, настройки источников в 3D-пакете. Это часы работы специалиста на несколько секунд материала.

Если технология дойдёт до монтажных программ, добавление света, дыма и виртуальных объектов в отснятое видео перестанет быть отдельной профессией и станет ползунком в интерфейсе.