🎬 Открытый инструмент Violin переводит видео на любой язык и…

🎬 Открытый инструмент Violin переводит видео на любой язык и меняет голос за три шага

Together AI выпустили Violin — полностью open-source инструмент для перевода видео. Исходный код уже доступен на GitHub под лицензией MIT, так что использовать и дорабатывать проект можно свободно.

Как это работает:
1️⃣ Whisper V3 расшифровывает речь из видео в текст с таймкодами
2️⃣ DeepSeek V4 Pro переводит текст на нужный язык
3️⃣ Cartesia Sonic 3 озвучивает перевод голосом носителя выбранного языка

При этом клон голоса оригинального спикера не используется.

Внутри также есть мультимодальный AI-ассистент: он видит и слышит видео, а затем отвечает на вопросы по содержанию прямо в интерфейсе.

Поддерживаются три режима работы:
— веб-интерфейс без кода
— CLI для пакетной обработки
— готовый скилл для интеграции в AI-агентов

И немного контекста: 66% видео из топ-250 YouTube-каналов публикуются только на английском, хотя аудитория у них глобальная.

#полезное