Voxtral от Mistral выходит за рамки транскрипции, предлагая функции реферирования и управления речью.

Источник: VentureBeat, создано с помощью Midjourney

Хотите получать более полезную информацию? Подпишитесь на наши еженедельные рассылки, чтобы получать только то, что важно для руководителей в сфере корпоративного ИИ, данных и безопасности. Подпишитесь сейчас

Сегодня Mistral выпустила открытую модель распознавания речи, которая может составить конкуренцию платным голосовым ИИ, таким как ElevenLabs и Hume AI. По словам компании, эта модель заполняет пробел между фирменными моделями распознавания речи и более открытыми, но подверженными ошибкам версиями.

Voxtral, который Mistral выпустит по лицензии Apache 2.0, доступен в двух вариантах: с 24B параметрами и с 3B параметрами. Более крупная версия предназначена для масштабируемых приложений, а более мелкая версия — для локального и периферийного использования.

«Голос был первым интерфейсом человечества — задолго до письма и набора текста, он позволял нам обмениваться идеями, координировать работу и выстраивать отношения. По мере того, как цифровые системы становятся всё более функциональными, голос возвращается как самая естественная форма взаимодействия человека с компьютером», — написал Мистраль в своём блоге. «Однако современные системы остаются ограниченными — ненадёжными, проприетарными и слишком хрупкими для реального использования. Чтобы устранить этот пробел, необходимы инструменты с исключительной транскрипцией, глубоким пониманием, многоязычной беглостью и открытым, гибким внедрением».

Voxtral доступен через API Mistral и через конечную точку, предназначенную только для транскрипции, на сайте компании. Модели также доступны через Le Chat, чат-платформу Mistral.

Серия мероприятий AI Impact возвращается в Сан-Франциско — 5 августа

Новая фаза развития ИИ уже наступила — вы готовы? Присоединяйтесь к лидерам Block, GSK и SAP, чтобы узнать, как автономные агенты меняют рабочие процессы предприятий — от принятия решений в режиме реального времени до сквозной автоматизации.

Забронируйте свое место сейчас — количество мест ограничено: https://bit.ly/3GuuPLF

Мистраль заявил, что речевой ИИ «означает выбор между двумя компромиссами», отметив, что некоторые модели автоматического распознавания речи с открытым исходным кодом часто обладают ограниченным семантическим пониманием. Тем не менее, закрытые модели с хорошим пониманием языка обходятся дорого.

Преодоление разрыва

Компания заявила, что Voxtral «предлагает высочайшую точность и понимание семантики на уровне оригинала в открытом доступе по цене, которая более чем в два раза ниже, чем у сопоставимых API».

Voxtral, с контекстом в 32 000 токенов, может прослушивать и расшифровывать до 30 минут аудио или 40 минут аудиопонимания. Он поддерживает функцию реферирования, то есть модель может отвечать на вопросы на основе аудиоконтента и генерировать рефераты без переключения в отдельный режим. Пользователи могут вызывать функции и вызовы API на основе голосовых инструкций.

Модель основана на Mistral Small 3.1 от Mistral. Она поддерживает несколько языков и может автоматически определять такие языки, как английский, испанский, французский, португальский, хинди, немецкий, итальянский и голландский.

Mistral добавила в Voxtral корпоративные функции, включая частное развертывание, чтобы организации могли интегрировать модель в свои экосистемы. Эти функции также включают в себя точную настройку, ориентированную на конкретные области, расширенный контекст и приоритетный доступ к инженерным ресурсам для клиентов, которым требуется помощь в интеграции Voxtral в свои рабочие процессы.

Производительность

Распознавание речи с помощью искусственного интеллекта (ИИ) уже доступно на многих платформах. Пользователи могут общаться с ChatGPT, и платформа будет обрабатывать голосовые инструкции так же, как и письменные. Сети быстрого питания, такие как White Castle, внедрили SoundHound в свои сервисы обслуживания автомобилей, а ElevenLabs постоянно совершенствует свою мультимодальную платформу. Сфера открытого исходного кода также предлагает мощные возможности. Стартап Nari Labs выпустил модель распознавания речи с открытым исходным кодом Dia в апреле. Однако некоторые из этих сервисов могут быть довольно дорогими.

Сервисы транскрипции, такие как Otter и Read.ai, теперь могут встраиваться в конференции Zoom, записывая, подытоживая и даже предупреждая пользователей о действиях, требующих действий. Многие платформы для онлайн-видеоконференций предлагают не только транскрипцию, но и речевой ИИ и агентный ИИ, например, Google Meetings предоставляет возможность делать заметки для пользователей Gemini. Как постоянный пользователь сервисов транскрипции голоса, я могу сказать по собственному опыту, что ИИ-распознавание речи несовершенно, но совершенствуется.

Mistral заявил, что Voxtral превзошёл существующие голосовые модели, включая Whisper от OpenAI, Gemini 2.5 Flash и Scribe от ElevenLabs. Voxtral выявил меньше ошибок в словах по сравнению с Whisper, которая в настоящее время считается лучшей доступной моделью автоматического распознавания речи.

С точки зрения понимания аудио Voxtral Small «конкурентен GPT-4o-mini и Gemini 2.5 Flash по всем задачам, достигая высочайшего уровня производительности в области перевода речи».

После анонса Voxtral пользователи социальных сетей заявили, что ждали речевую модель с открытым исходным кодом, которая могла бы сравниться по производительности с Whisper.

Компания Mistral сообщила, что Voxtral будет доступен через ее API по цене 0,001 доллара в минуту.

Источник: venturebeat.com