Viggle Mine меняет персонажа в видео и не теряет его…

Viggle Mine меняет персонажа в видео и не теряет его в толпе

Появился Viggle Mine — демоспейс с продвинутой обёрткой над Viggle Animate для замены персонажей в сложных сценах.

Главная проблема таких инструментов — идентичность героя быстро разваливается, если он отворачивается, уходит в толпу, исчезает из кадра или возвращается мелким планом. Viggle Mine как раз пытается удерживать персонажа стабильным в таких ситуациях.

Есть два режима:
— Standard — прямая длинная генерация
— Smart — полный пайплайн с трекингом, контролем камеры, динамическим зумом и восстановлением личности

В Smart используются TAPNext++ для трекинга точек, SAM для контроля камеры, динамический зум, Pass A и опциональный Pass B.

Самый интересный как раз Pass B. Если персонаж потерялся из кадра, система берёт момент, где он снова появился, восстанавливает внешность, генерирует участок назад-вперёд вокруг точки сбоя и аккуратно встраивает результат обратно до отмены зума.