Архив рубрики ~Коротко из Telegram~

Xiaomi открыла модель, которая генерирует сложные звуковые сцены целиком Команда…

Xiaomi открыла модель, которая генерирует сложные звуковые сцены целиком Команда…
File 1128

Xiaomi открыла модель, которая генерирует сложные звуковые сцены целиком
Команда MiLM Plus из Xiaomi выложила в открытый доступ MiDashengLM-Gen — генератор аудио по текстовому описанию. Он собирает не отдельный голос или трек, а полноценную звуковую сцену: речь, музыку, шумовые эффекты и фоновую акустику вместе.

Внутри — аудиотокенизатор MiDashengLM-0.6B, дообученная языковая модель Qwen3-1.7B и генеративная часть Flow Matching на базе DiT. Управление идёт через теги промпта: caption, asr, speech, sfx, music, env, а ненужные поля помечаются как unknown. На выходе — WAV 16 кГц длительностью до 20 секунд.

Обучали модель на приватном датасете ACAVCaps объёмом 77 тысяч часов плюс открытых наборах Emilia, LibriTTS, LJSpeech, AISHELL-3 и WenetSpeech4TTS. Русского в речевой части ACAVCaps всего 4,66% против 54% английского и 24,5% китайского — это сразу видно по качеству: доля ошибок на русском 13,19% против 2,42% на английском.

По метрикам на Seed-TTS ошибки снизились с 12,15% до 2,79%, на CV3-Eval эмоции распознаются уверенно: радость 0,98, грусть 0,96, злость 0,92. А вот на AudioCaps результат скромнее — FAD 5,01 против 2,26 у TangoFlux, то есть в чистой генерации звуковых эффектов конкуренты пока сильнее.

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Signal ограничивает возможность делать скриншоты на мобильных устройствах, поскольку сталкивается с «экзистенциальной угрозой» слежки со стороны искусственного интеллекта. Архив рубрики ~Лента новостей~ Конец кислотным градиентам и эмодзи. Скилл unslop-ui вычищает ИИ-мусор из вайбкодинга Архив рубрики ~Лента новостей~ GPTunneL и SKILLOUT проведут хакатон ИИ‑рекламы в Москве 28–29 ноября. Открыта регистрация для онлайн‑участников Архив рубрики ~Лента новостей~ Позднетриасовый зауроподоморф из ЮАР набрал 400 килограмм уже на третьем году жизни. Взрослые особи этого вида могли весить несколько тонн Архив рубрики ~Лента новостей~ Стартап подал в суд на Apple в Индии из-за функции обмена контактами одним касанием. Архив рубрики ~Лента новостей~ «Впервые не ощущается как та „Gemini“»: Google выпустила Gemini 4 Neon, тестировщики сравнили её с Opus 5.5 Архив рубрики ~Лента новостей~ Чат-боты стали экспертами в убеждении людей Архив рубрики ~Лента новостей~ Иммунитет для сайтов. Как устроена защита онлайн-сервисов Архив рубрики ~Лента новостей~ Баг процессора за $475 миллионов: ошибка Intel Pentium Архив рубрики ~Лента новостей~ В мире большой науки в 2026-м случилось событие, одновременно воодушевляющее и слегка конфузное Архив рубрики ~Лента новостей~ Эксперты предупреждают: практически каждый в сфере ИИ сейчас уязвим для мошеннических схем с использованием «медовой ловушки». Архив рубрики ~Лента новостей~ Американский бизнесмен подал в суд на Meta* из-за блокировки страниц его компании на Facebook* — иск он подготовил с помощью ИИ-агента Muse, разработанного Meta* Архив рубрики ~Лента новостей~ Город, который читают машины: как я сделал API для нейросетей на одном PHP‑файле Архив рубрики ~Лента новостей~ О статистической механике жизни: пересмотренный Шрёдингер Архив рубрики ~Лента новостей~ Signal ограничивает возможность делать скриншоты на мобильных устройствах, поскольку сталкивается с «экзистенциальной угрозой» слежки со стороны искусственного интеллекта. Архив рубрики ~Лента новостей~ Конец кислотным градиентам и эмодзи. Скилл unslop-ui вычищает ИИ-мусор из вайбкодинга Архив рубрики ~Лента новостей~ GPTunneL и SKILLOUT проведут хакатон ИИ‑рекламы в Москве 28–29 ноября. Открыта регистрация для онлайн‑участников Архив рубрики ~Лента новостей~ Позднетриасовый зауроподоморф из ЮАР набрал 400 килограмм уже на третьем году жизни. Взрослые особи этого вида могли весить несколько тонн Архив рубрики ~Лента новостей~ Стартап подал в суд на Apple в Индии из-за функции обмена контактами одним касанием. Архив рубрики ~Лента новостей~ «Впервые не ощущается как та „Gemini“»: Google выпустила Gemini 4 Neon, тестировщики сравнили её с Opus 5.5 Архив рубрики ~Лента новостей~ Чат-боты стали экспертами в убеждении людей Архив рубрики ~Лента новостей~ Иммунитет для сайтов. Как устроена защита онлайн-сервисов Архив рубрики ~Лента новостей~ Баг процессора за $475 миллионов: ошибка Intel Pentium Архив рубрики ~Лента новостей~ В мире большой науки в 2026-м случилось событие, одновременно воодушевляющее и слегка конфузное Архив рубрики ~Лента новостей~ Эксперты предупреждают: практически каждый в сфере ИИ сейчас уязвим для мошеннических схем с использованием «медовой ловушки». Архив рубрики ~Лента новостей~ Американский бизнесмен подал в суд на Meta* из-за блокировки страниц его компании на Facebook* — иск он подготовил с помощью ИИ-агента Muse, разработанного Meta* Архив рубрики ~Лента новостей~ Город, который читают машины: как я сделал API для нейросетей на одном PHP‑файле Архив рубрики ~Лента новостей~ О статистической механике жизни: пересмотренный Шрёдингер

Оставить комментарий