Нейросеть научилась прятать виртуальный свет за реальными объектами в видео…

Нейросеть научилась прятать виртуальный свет за реальными объектами в видео

Показана технология, которая добавляет в уже снятое видео источник света так, будто он физически находился в кадре. Ключевая деталь — свет корректно перекрывается предметами сцены.

Работает это через анализ каждого кадра: нейросеть определяет, какие объекты находятся ближе к камере, какие дальше, и в реальном времени строит карту глубины. Дальше виртуальный источник света размещается внутри этой трёхмерной реконструкции, и стены, люди и предметы естественным образом заслоняют его.

Именно окклюзия — перекрытие объектами — всегда была слабым местом дешёвых способов добавить свет в готовое видео. Без понимания геометрии сцены свечение просто ложится поверх картинки и выдаёт подделку с первого взгляда.

Тот же принцип применим не только к свету: имея карту глубины, можно так же корректно вписывать в кадр дым, частицы и трёхмерные объекты. Для монтажёров это означает возможность обойтись без долгого ручного трекинга и построения сцены в 3D-редакторе.