OpenAI запускает GPT-Live, обновление для полнодуплексной голосовой связи, позволяющее ChatGPT говорить более естественно, как человек.
Майкл Нуньес
В среду компания OpenAI представила GPT-Live — две новые голосовые модели, которые коренным образом меняют способ общения пользователей с ChatGPT, заменяя существующий расширенный голосовой режим архитектурой, способной одновременно слушать и говорить, подобно реальному человеческому разговору.
Две модели, GPT-Live-1 и GPT-Live-1 mini, начинают внедряться по всему миру сегодня на платформах iOS, Android и ChatGPT.com. GPT-Live-1 становится моделью голосового управления по умолчанию для платных пользователей ChatGPT на тарифах Go, Plus и Pro, а GPT-Live-1 mini — для пользователей бесплатного тарифа. OpenAI также планирует добавить эти модели в API, и разработчики могут подписаться на уведомления.
Этот релиз знаменует собой третье поколение голосовой технологии ChatGPT примерно за два года — и самую явную на сегодняшний день попытку OpenAI превратить своего чат-бота в нечто, что больше напоминает общение с коллегой, чем поисковую систему.
Почему полнодуплексная голосовая связь меняет все в общении с ИИ
Ключевым техническим достижением в GPT-Live является то, что OpenAI называет «полнодуплексной архитектурой». В телекоммуникациях полнодуплексная архитектура означает, что обе стороны телефонного разговора могут говорить и слушать одновременно. В применении к ИИ это означает, что модель непрерывно обрабатывает входящий аудиосигнал, даже когда генерирует собственный речевой ответ — больше не нужно ждать паузы, чтобы понять, когда вы закончили говорить.
«Вместо обработки последовательности отдельных сообщений GPT-Live непрерывно обрабатывает входные данные, одновременно генерируя выходные», — написала OpenAI в своем исследовательском блоге. «Таким образом, модель может принимать решения о взаимодействии много раз в секунду: говорить, продолжать слушать, делать паузу, прерывать или вызывать инструмент».
На практике это означает, что голосовой помощник может вставлять подтверждения разговора — «м-м», «да», «понял» — пока вы еще говорите, улавливать естественную паузу, не вмешиваясь преждевременно, и обрабатывать внезапные прерывания, не срывая весь разговор.
Предыдущий расширенный голосовой режим OpenAI, запущенный для платных пользователей в сентябре 2024 года, обрабатывал и генерировал аудио в рамках одной модели, но по-прежнему работал на основе жесткого пошагового обмена информацией. Как признала OpenAI в своем заявлении, «поскольку определение поворота основано на тишине, даже короткая пауза или фоновый шум могут быть ошибочно приняты за конец поворота, что приводит к прерыванию моделью в неестественные моменты».
Эта хрупкость привела к созданию продукта, который, хотя и впечатлял на демонстрациях, мог вызывать глубокое разочарование при длительном использовании в реальных условиях. Фоновые разговоры в кафе могли спровоцировать реакцию. Пауза в размышлениях могла быть подавлена. Как выразился один исследователь на X вскоре после анонса, это было похоже на «переговоры по рации». GPT-Live призван положить конец этой эпохе.
Как OpenAI разделяет голосовой и интеллектуальный уровни на два отдельных слоя
GPT-Live вносит второе структурное изменение, которое может оказаться столь же важным для внедрения в корпоративной среде: оно отделяет слой голосового взаимодействия от слоя логического вывода.
Когда пользователь задает простой вопрос, GPT-Live обрабатывает его напрямую. Но когда запрос требует веб-поиска, более глубокого анализа или более сложной работы агента, GPT-Live делегирует задачу модели, работающей в фоновом режиме — на момент запуска это была GPT-5.5, большая языковая модель, выпущенная OpenAI в апреле, — и продолжает взаимодействовать с пользователем, пока вычисления происходят асинхронно.
«Во время работы GPT-Live может продолжать общаться с вами и поддерживать диалог», — объясняет OpenAI. «По мере выпуска новых перспективных моделей мы будем постоянно обновлять модель, используемую GPT-Live».
Эта модель делегирования представляет собой значимую архитектурную ставку. Вместо создания единой монолитной голосовой модели, которая пытается быть одновременно гибкой в общении и глубоко интеллектуальной, OpenAI разделила задачу на две части: модель, изначально предназначенную для работы с голосом и оптимизированную для взаимодействия в реальном времени, и отдельный механизм рассуждений, который можно заменять по мере совершенствования современных технологий.
По сути, это модульная конструкция, позволяющая OpenAI повышать интеллектуальные возможности своего голосового помощника без переобучения самой голосовой модели. Последствия для корпоративных и разработческих рабочих процессов значительны. Голосовой агент, построенный на этой архитектуре, сможет поддерживать естественный разговор с клиентом, одновременно обращаясь к базам данных, осуществляя поиск в интернете или выполняя многоэтапные вычисления — задачи, которые при старой архитектуре приводили бы к нескольким секундам тишины.
Три поколения голосовой связи ChatGPT: от неуклюжего конвейера до непрерывного потока.
Чтобы понять, насколько далеко продвинулся голосовой ИИ, полезно проследить три поколения, которые привели к появлению GPT-Live.
Оригинальная версия ChatGPT Voice, запущенная в 2023 году, использовала каскадный конвейер: модель преобразования речи в текст (Whisper) расшифровывала ваши слова, большая языковая модель (GPT-4) генерировала текстовый ответ, а модель преобразования текста в речь преобразовывала этот ответ обратно в аудио. Каждый этап передачи данных приводил к задержке и потере информации.
Как отметили в OpenAI, «сложность имела свою цену: информация могла теряться между моделями, а ответы были медленными и неестественными». Этот каскадный подход был отраслевым стандартом, и его ограничения были хорошо задокументированы. Как отмечалось в блоге OpenHelm в анализе API реального времени OpenAI в октябре 2024 года, старый конвейер накапливал задержку примерно в 1700 миллисекунд — почти две полные секунды тишины перед первым словом ответа. Управление состоянием между тремя отдельными API требовало огромных инженерных усилий.
Расширенный голосовой режим OpenAI, ограниченное внедрение которого для платных пользователей ChatGPT Plus началось в июле 2024 года, а затем распространилось на более широкую аудиторию в сентябре 2024 года, объединил три модели обработки звука в одну, которая обрабатывает аудио напрямую. Как сообщал тогда TechCrunch, в рамках обновления были добавлены пять новых голосов — Arbor, Maple, Sol, Spruce и Vale — а также улучшена обработка акцентов и улучшена плавность разговоров.
Эта функция также появилась в веб-версии в ноябре 2024 года, расширив ее возможности за пределы мобильных устройств. Однако расширенный голосовой режим по-прежнему работал в виде отдельных, чередующихся импульсов — и его запуск состоялся в тени пиар-провала, от которого OpenAI до сих пор пытается избавиться.
Скандал вокруг Скарлетт Йоханссон до сих пор омрачает амбиции OpenAI в области голосовых технологий.
Расширенный голосовой режим появился после одного из самых разрушительных кризисов, созданных самой компанией OpenAI. Во время запуска GPT-4o в мае 2024 года компания продемонстрировала голос под названием «Скай», который, по мнению многих слушателей, поразительно похож на голос Скарлетт Йоханссон, известной по озвучиванию ИИ-компаньона в фильме «Она» 2013 года.
Йоханссон заявила, что отклонила предложение генерального директора OpenAI Сэма Альтмана озвучить систему, а затем была «шокирована, разгневана и не могла поверить своим глазам», когда продукт был запущен с голосом, который ее собственные друзья не могли отличить от ее собственного, как сообщило NBC News. Альтман в день запуска продукта написал в Твиттере только слово «она».
Компания OpenAI удалила озвучку и принесла извинения, но инцидент привлек внимание общественности со стороны SAG-AFTRA и членов Конгресса и выявил более широкие опасения по поводу того, что компании, занимающиеся искусственным интеллектом, слишком быстро используют интеллектуальную собственность в сфере креативных технологий.
Голливудский профсоюз заявил, что этот вопрос подчеркивает, «почему мы решительно поддерживаем федеральное законодательство, которое защитило бы их голоса и изображения… от несанкционированного цифрового копирования», как сообщило NBC News. Обозреватель Forbes Пол Тасси тогда написал, что Альтман, «возводя фильм « Она» на пьедестал чего-то, к чему следует стремиться, упустил суть фильма», в котором отношения главного героя с его искусственным интеллектом в конечном итоге приносят ему больше вреда, чем пользы.
Похоже, что GPT-Live разработан, в частности, для того, чтобы преодолеть эти противоречия. Компания OpenAI заявляет, что «переработала девять различных голосов из ChatGPT для GPT-Live» и отмечает, что система «предназначена для общения, а не для имитации голоса», с «мерами защиты, предотвращающими имитацию голоса реального человека».
Что на самом деле заметят сегодня 150 миллионов пользователей голосовой связи в неделю?
Компания OpenAI сообщила, что более 150 миллионов человек еженедельно общаются с ChatGPT, используя функции голосового ввода и диктовки — это значительная доля от общего числа 900 миллионов активных пользователей платформы в неделю. Голосовой ввод превратился в самостоятельный, но важный продукт, используемый для языковой практики, чтения сказок на ночь, общения в дороге и оказания помощи в повседневной жизни без использования рук.
Новые функции продукта отражают именно такой подход к использованию. GPT-Live представляет собой набор наглядных визуальных карточек, которые появляются во время голосовых разговоров — прогнозы погоды, биржевые котировки, спортивные результаты и карты — позволяя пользователям быстро взглянуть на информацию, не прерывая разговор.
Теперь пользователи могут выбирать между тремя уровнями сложности ответов: «Мгновенный» для быстрых реакций, «Средний» для умеренного мышления и «Высокий» для более сложных задач. И если вы немного подумаете, то заметите, что «ChatGPT Voice теперь ждет, а не вмешивается и прерывает», — написали в OpenAI. «Если вы попросите его молчать и слушать, он это сделает. А когда есть фоновый шум, например, проезжающие машины или разговоры поблизости, ChatGPT лучше фокусируется на вашем голосе, а не отвлекается».
Первые отзывы пользователей, получивших предварительный доступ, были осторожно позитивными. «У меня был ранний доступ к Sol. Это феноменальная модель», — написал один пользователь на X, добавив, что она «намного лучше справляется с фронтендом, работой с контекстными знаниями, и её атмосфера намного лучше». Другой наблюдатель точно подметил суть: «Интеллектуальные возможности здесь не новы, GPT-Live задаёт сложные вопросы GPT-5.5. Новинкой является ощущение: полнодуплексный голосовой интерфейс, который слушает, пока говорит».
Новые специализированные тесты безопасности голоса выявляют, где еще сохраняются риски.
Системная карта GPT-Live, опубликованная одновременно с анонсом, раскрывает стратегию безопасности, разработанную с учетом особых рисков голосового взаимодействия в реальном времени — области, где скорость и интимность разговора создают опасности, которых нет в текстовом чате.
Компания OpenAI расширила свои оценки безопасности, включив в них аудиотесты, используя как реальные образцы голоса пользователей (от тех, кто дал на это согласие), так и синтетически сгенерированные подсказки, нацеленные на крайние случаи в таких категориях, как членовредительство, контент сексуального характера, противоправное поведение, эмоциональная зависимость, психическое здоровье и разжигание ненависти.
В ходе синтетических тестов, которые OpenAI охарактеризовала как преднамеренно враждебные, GPT-Live-1 продемонстрировал существенные улучшения по сравнению с расширенным голосовым режимом. Например, в случае противоправного поведения оценка безопасности выросла с 0,63 до 0,97. В случае самоповреждения она увеличилась с 0,72 до 0,98. В случае разжигания ненависти оценка достигла идеального значения 1,00, поднявшись с 0,87.
В ходе оценок, проведенных с использованием реальных аудиозаписей пользователей и отражающих более неоднозначные, пограничные сценарии, картина оказалась более неоднозначной. GPT-Live-1 показал результаты, сопоставимые или превосходящие показатели Advanced Voice Mode в большинстве категорий, но продемонстрировал небольшое снижение в отношении эмоциональной зависимости (с 0,88 до 0,82), хотя OpenAI отметила, что это изменение не является статистически значимым.
Компания разработала механизмы защиты в режиме реального времени, которые могут вмешиваться во время разговора модели — направляя её действия к более безопасным вариантам, предоставляя доступ к ресурсам кризисной помощи или полностью прерывая голосовой разговор в ситуациях повышенного риска. Она также разработала дополнительные средства защиты для подростков и адаптировала схемы оказания помощи при самоповреждении для голосового режима, включая интеграцию с горячей линией кризисной помощи.
Пожалуй, наиболее примечательно заявление OpenAI о том, что компания «внедряет долгосрочные измерения и мониторинг после запуска, ориентированные на эмоциональную зависимость» — признание того, что сама естественность, к которой стремится GPT-Live, создает свою собственную категорию рисков.
Google, ByteDance и Nvidia уже участвуют в гонке за полнодуплексную связь.
Пока OpenAI совершенствовала свои средства защиты, её конкуренты выпускали собственные полнодуплексные системы. Google Gemini Live, поддерживающая полнодуплексный разговор, а также демонстрацию камеры и экрана — возможности, которых, как известно, нет в GPT-Live на момент запуска, — уже доступна в приложении Gemini. В марте Google выпустила Gemini 3.1 Flash Live как свою самую высококачественную модель аудиосвязи в реальном времени, ориентированную на разработчиков на голосовое взаимодействие с низкой задержкой.
В апреле компания ByteDance запустила Seeduplex, заявив, что это первая в масштабах производства полнодуплексная система распознавания речи на основе ИИ, развернутая в приложении Doubao. Seeduplex сообщила о снижении количества ложных ответов и ложных прерываний примерно на 50 процентов по сравнению с предыдущей полудуплексной системой ByteDance. А выпущенная в январе система Nvidia PersonaPlex добавила возможность настройки голоса и ролей для полнодуплексных моделей, устранив существовавшее ранее ограничение, при котором модели с естественным звучанием были привязаны к одному фиксированному голосу.
Конкурентная ситуация ясна: полнодуплексное голосовое взаимодействие быстро становится обязательным условием для потребительских продуктов на основе ИИ, а не конкурентным преимуществом. Преимущество OpenAI заключается в масштабе существующей пользовательской базы, интеграции с возможностями логического мышления GPT-5.5 и широте экосистемы ChatGPT.
Однако период, когда какая-либо одна компания могла бы монополизировать рынок искусственного интеллекта для создания естественного звучания голоса, уже закончился. OpenAI также признала наличие ряда недостатков. GPT-Live не поддерживает голосовое сопровождение видео или демонстрацию экрана на момент запуска. Поддержка языков ограничена, и компания отмечает, что «для некоторых языков модель может иметь неродной акцент или пробелы в знаниях». Кроме того, доступ к API недоступен с первого дня, а это значит, что корпоративные разработчики пока не могут напрямую создавать приложения на основе GPT-Live — это ограничение замедлит проникновение модели в коммерческие рабочие процессы голосовых агентов, где у конкурентов, таких как Google, ElevenLabs и Deepgram, уже есть продукты для разработчиков.
Конец чата может быть ближе, чем кто-либо ожидал.
GPT-Live — это, по сути, самая значительная ставка OpenAI на голосовой интерфейс как основной инструмент для работы с ИИ — не просто удобная функция, добавленная к текстовому чат-боту, а специально разработанный интерактивный слой, который находится между пользователем и самыми мощными моделями компании.
«Со временем, как мы полагаем, это исследование также откроет возможности для использования голоса в задачах все более сложной, длительной и автоматизированной работы», — написала компания OpenAI. Эта цель — использование естественного голоса в качестве интерфейса для автономных агентов ИИ, способных выполнять многоэтапные задачи, — является логическим завершением архитектуры с полнодуплексным управлением и делегированием.
Представьте, что вы отдаете своему телефону команды вроде бронирования авиабилетов, переговоров со страховой компанией или отладки производственного сервера, и все это в форме разговора, который кажется таким же естественным, как общение с голосовым помощником, обладающим к тому же интеллектом передовой модели искусственного интеллекта.
Два года назад общение с ChatGPT означало диктовку в микрофон и почти двухсекундное ожидание неестественного ответа. Год назад это означало более плавный обмен сообщениями, который всё ещё ощущался как вежливый, слегка неловкий телефонный разговор с человеком, который настаивал на том, чтобы дождаться окончания каждого предложения. Сегодня это означает нечто более близкое к настоящему разговору — несовершенное, всё ещё ограниченное в некоторых языках и без видео, но, несомненно, ближе. Компания OpenAI однажды попала в неприятности из-за желания воссоздать фильм «Она» . С GPT-Live компания, возможно, наконец-то вернётся к более сложному вопросу, который на самом деле задавал фильм: не может ли ИИ звучать достаточно по-человечески, чтобы с ним разговаривать, а что происходит с нами, когда он это делает.
Подпишитесь, чтобы получать самые свежие новости!
Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.
Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.
Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.
Источник: venturebeat.com
Оцените материал:
