Dream Talk — открытый фреймворк, который создает выразительные видео с…

Dream Talk — открытый фреймворк, который создает выразительные видео с говорящими лицами из аудио с помощью диффузионных моделей.

Сервис использует архитектуру из трех компонентов: сеть подавления шума, эксперт по синхронизации губ и предсказатель стиля. Сеть подавления шума улучшает качество видео, убирая артефакты. Эксперт по губам обеспечивает точную синхронизацию с аудио, учитывая стиль речи. Предсказатель стиля определяет выражения лица прямо из звука, не требуя дополнительных видео.