Выходя за рамки общения один на один: создание, моделирование и тестирование динамических групповых диалогов между человеком и ИИ.

DialogLab — это исследовательский прототип, предоставляющий единый интерфейс для настройки диалоговых сцен, определения персон агентов, управления структурами групп, задания правил смены реплик и организации переходов между заранее подготовленными сценариями и импровизацией.

Быстрые ссылки

• Бумага
• Код DialogLab
• Видеодемонстрация
• Делиться
  • Скопировать ссылку ×

Разговорный искусственный интеллект коренным образом изменил то, как мы взаимодействуем с технологиями. Хотя взаимодействие один на один с большими языковыми моделями (БЯМ) значительно продвинулось, оно редко отражает всю сложность человеческого общения. Многие реальные диалоги, включая командные совещания, семейные ужины или уроки в классе, по своей природе являются многосторонними. Эти взаимодействия включают в себя гибкую смену ролей, динамичные прерывания.

Для дизайнеров и разработчиков моделирование естественных и увлекательных многосторонних диалогов исторически требовало компромисса: либо мириться с жесткостью скриптового взаимодействия, либо принимать непредсказуемость чисто генеративных моделей. Чтобы преодолеть этот разрыв, нам нужны инструменты, которые сочетают структурную предсказуемость скрипта со спонтанным, импровизационным характером человеческого общения.

Для удовлетворения этой потребности мы представляем DialogLab, представленный на ACM UIST 2025, — открытую платформу для прототипирования, предназначенную для создания, моделирования и тестирования динамических групповых диалогов между человеком и ИИ. DialogLab предоставляет единый интерфейс для управления сложностью многосторонних диалогов, обрабатывая все — от определения персон агентов до организации сложной динамики смены реплик. Благодаря интеграции импровизации в реальном времени со структурированным написанием сценариев, эта платформа позволяет разработчикам тестировать диалоги, начиная от структурированной сессии вопросов и ответов и заканчивая свободным творческим мозговым штурмом. Наши оценки с участием 14 конечных пользователей или экспертов в предметной области подтверждают, что DialogLab поддерживает эффективную итерацию и реалистичный, адаптируемый многосторонний дизайн для обучения и исследований.

DialogLab — это исследовательский прототип, поддерживающий создание, моделирование и тестирование динамических групповых диалогов между человеком и ИИ. Разработчики могут 1) настраивать характеристики группы, участников и фрагментов диалога, 2) тестировать с помощью моделирования и реального взаимодействия и 3) получать аналитические данные с помощью просмотра временной шкалы и последующего анализа.

Структура для динамического диалога

DialogLab отделяет социальную структуру разговора — такую как участники, роли, подгруппы и отношения — от его временного развития. Это разделение позволяет разработчикам создавать сложные динамические диалоги с помощью упрощенного трехэтапного рабочего процесса: создание, тестирование, проверка.

В основе структуры DialogLab лежат два основных принципа определения диалогов:

• Динамика группы : это описывает социальную структуру взаимодействия.
  • Группа — это контейнер верхнего уровня (например, социальное мероприятие на конференции).
  • Участники представляют собой подгруппы, выполняющие различные роли (например, «докладчики» и «зрители»).
  • Элементами являются отдельные участники (люди или ИИ) и любой общий контент, например, слайд презентации.
• Динамика развития диалога : это описание того, как диалог разворачивается во времени.
  • Диалог разбит на фрагменты , представляющие собой отдельные этапы беседы. Каждый фрагмент имеет определенный набор участников, последовательность реплик и специфические стили взаимодействия (например, сотрудничество или спор). Создатели также могут определять правила для прерываний и обратной связи, чтобы сделать диалог более реалистичным.

Наша структура отделяет социальную структуру (роли, участники) от временного потока (фрагменты, правила очередности реплик), что позволяет создавать модульные диалоги. Слева : пример разработки групповой динамики для презентаторов и аудитории вопросов и ответов; справа : пример разработки динамики диалога в три этапа: начало, обсуждение, достижение консенсуса.

Рабочий процесс «автор-тест-проверка» для динамического диалога

DialogLab помогает создателям пройти структурированный рабочий процесс «автор-тест-проверка», поддерживаемый визуальным интерфейсом, разработанным для быстрой итерации.

1. Создание контента с помощью визуальных инструментов : интерфейс включает в себя холст с функцией перетаскивания, где пользователи размещают аватары и контент из библиотек для создания сцен. Панели инспектора позволяют детально настраивать параметры, от внешности аватара до шаблонов взаимодействия в конкретном фрагменте кода. Для ускорения процесса проектирования DialogLab предлагает автоматически генерируемые диалоговые подсказки, которые можно точно настроить в соответствии с конкретными сюжетными целями.
2. Моделирование с участием человека : тестирование имеет решающее значение для многосторонних взаимодействий. DialogLab включает в себя панель предварительного просмотра в реальном времени, отображающую стенограмму разговора, и режим « управления человеком », где панель аудита предлагает потенциальные ответы ИИ. Разработчик может редактировать, принимать или отклонять эти предложения, обеспечивая точный контроль над вкладом ИИ и позволяя быстро вносить изменения.
3. Проверка и аналитика : Для подтверждения взаимодействия панель проверки служит диагностическим инструментом. Она визуализирует динамику разговора, позволяя создателям быстро анализировать распределение реплик и эмоциональные потоки без необходимости разбираться в длинных необработанных стенограммах.

воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука

Демонстрация прототипа DialogLab, который поддерживает создание, моделирование и тестирование динамических групповых диалогов между человеком и ИИ.

Оценка прототипа

Мы провели оценку DialogLab с участием 14 человек из сферы разработки игр, образования и социальных наук. Участники выполнили два задания в DialogLab: разработку академического социального мероприятия и тестирование групповой дискуссии с использованием ИИ в трех условиях:

1. Управление со стороны человека : при тестировании разговора пользователь может попросить агентов «сменить тему», сгенерировать «новую точку зрения», «задать уточняющий вопрос» или вызвать «эмоциональную реакцию».
2. Автономность : смоделированные агенты активно участвуют в разговоре на основе заранее определенных команд (случайных или по одной), автоматически генерируя эмоциональные реакции и смену тем.
3. Реактивный режим : имитируемый человеческий агент реагирует только тогда, когда его напрямую упоминают другие агенты, имитируя традиционное поведение взаимодействия человека и ИИ при обмене репликами.

Участники оценивали каждое условие по 5-балльной шкале Ликерта. Участники сочли режим управления с участием человека значительно более увлекательным и в целом более эффективным и реалистичным для имитации реальных разговоров.

Гистограмма, сравнивающая системы с человеческим управлением, автономные и реактивные системы по таким параметрам, как простота использования, вовлеченность, эффективность и реалистичность.

Отзывы участников дополнительно подчеркнули способность системы сочетать автоматизацию с контролем:

• Интуитивно понятный и увлекательный : Большинство участников сочли DialogLab простым в использовании, а визуальный интерфейс с функцией перетаскивания для настройки сцен и ролей — интересным и эффективным.
• Гибкость и управляемость : Пользователи высоко оценили баланс между автоматически генерируемыми подсказками и возможностью тонкой настройки деталей беседы. Способность системы моделировать различные стратегии модерации также была отмечена как ключевое преимущество.
• Реалистичная симуляция : режим управления человеком оказался явным фаворитом в ходе тестирования, поскольку пользователи отмечали, что он дает им большее чувство контроля и погружения. Он был оценен как более увлекательный, эффективный и реалистичный для имитации поведения человека по сравнению с полностью автономными или чисто реактивными агентами.
• Эффективная проверка : Панель проверки была признана ценным диагностическим инструментом для быстрого анализа динамики разговора без необходимости чтения длинных стенограмм.

Перспективы на будущее

DialogLab — это больше, чем просто исследовательский прототип; это шаг к будущему, где сотрудничество человека и ИИ станет более насыщенным и многогранным. Потенциальные области применения огромны:

• Образование и развитие навыков : студенты могут практиковаться в публичных выступлениях перед имитированной аудиторией, а профессионалы могут репетировать сложные разговоры и интервью.
• Игровой дизайн и повествование : сценаристы и разработчики игр могут создавать более правдоподобных и динамичных неигровых персонажей (NPC), которые взаимодействуют друг с другом и с игроком более естественным образом.
• Исследования в области социальных наук : DialogLab может использоваться в качестве контролируемой среды для изучения групповой динамики, позволяя исследователям проверять гипотезы о социальном взаимодействии без логистических трудностей, связанных с набором больших групп людей.

воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука

Примеры применения DialogLab включают отработку вопросов и ответов на конференциях, моделирование дебатов и создание диалогов для игр.

В дальнейшем мы предполагаем интегрировать в эту структуру более сложные мультимодальные модели поведения, такие как невербальные жесты и выражения лица. Мы также могли бы изучить использование фотореалистичных аватаров и 3D-сред, таких как ChatDirector, для создания еще более захватывающих и реалистичных симуляций в нашей открытой платформе XR Blocks. Мы надеемся, что это исследование вдохновит на дальнейшие инновации в захватывающей и развивающейся области динамики группового общения человека и ИИ.

Чтобы узнать больше, посмотрите видеодемонстрацию DialogLab.

Благодарности

В число ключевых участников проекта входят Эрчжэнь Ху, Яньхэ Чен, Минъи Ли, Врушанк Фаднис, Пинмэй Сюй, Сюнь Цянь, Алекс Олвал, Дэвид Ким, Сонгук Хео и Руофэй Ду. Мы хотели бы выразить благодарность Адаршу Коудле за предоставленные отзывы и помощь в подготовке рукописи и публикации в блоге. Этот проект частично финансируется за счет стипендии Google для аспирантов .

Источник: research.google