Учёные Стэнфордского университета провели исследование, опубликованное в журнале Nature Machine Intelligence, которое показывает, что несмотря на прогресс современных больших языковых моделей (БЛМ), они всё ещё испытывают проблемы с различием между фактом и личным убеждением. Об этом пишет 3DNews.
Фото из открытых источников
Люди способны интуитивно понимать тонкую грань между выражением личной уверенности («я верю») и констатацией твёрдо установленного факта («я знаю»). Способность разделять личные взгляды и объективную реальность приобретает особое значение, когда речь идёт о применении ИИ в здравоохранении, судебной практике или образовании.
Современные крупные языкообрабатывающие модели построены на огромных объёмах текстовых данных, используемых для обучения алгоритмов выбора наиболее вероятных последовательностей слов. Среди популярных примеров таких технологий выделяются GPT от OpenAI, Gemini от Google, Claude от Anthropic и Llama от Meta. Традиционно оценка качества работы моделей основывалась преимущественно на общем уровне способности рассуждать, однако отсутствовали конкретные тесты для выявления способности моделей различать нюансы речи, касающиеся понятий «веры» и «знания».
Чтобы устранить этот недостаток, исследователи разработали специальный тестовый набор KBLE (Knowledge and Belief Language Evaluation) с набором из 13 тысяч уникальных вопросов, разбитых на 13 категорий. Предложения были составлены таким образом, чтобы включать как истинные утверждения, подтвержденные авторитетными источниками, так и заведомо ложные высказывания, специально искаженные заменой ключевых элементов исходных версий.
Эксперимент показал значительную сложность для моделей при распознавании ложных высказываний говорящих. Так, если пользователь говорил нечто вроде «Я думаю, что…», многие модели стремились скорректировать ошибку в содержании, а не просто зафиксировать наличие личного заблуждения. Подобное явление наблюдалось значительно реже, когда речь шла о третьих лицах (например, Джеймс думает…).
Более детальное изучение продемонстрировало значительный разброс результатов среди разных поколений моделей. Старые версии показывали высокий уровень доверия к собственным выводам относительно правильных утверждений, но теряли эффективность при встрече с ложью. Современные модели, напротив, оказались склонными преувеличивать внимание к качеству представленных данных, что негативно сказывалось на восприятии самих ситуаций, касающихся субъективных мнений.
Особенно удивительным оказалось влияние небольших изменений в структуре вопроса. Добавление простых уточняющих конструкций типа «действительно ли я верю?» заметно снижало точность ответов моделей, демонстрируя зависимость их функционирования от тонких нюансов структуры языка.
Кроме того, исследователями выявлены недостатки в работе моделей с конструкциями, содержащими многоуровневые знания, где одно лицо обладает информацией о знаниях другого (например, Джон знает, что Анна знает Х). Здесь лучшие показатели демонстрировала новейшая версия Gemini 2 Flash, остальные же столкнулись с серьезными проблемами интерпретации сложных грамматических конструкций.
Авторы исследования подчеркнули важность четкого осознания языком различия между «верой» и «знанием». Если «знание» означает принятие неоспоримой истины, то вера позволяет допускать сомнение. Многие модели этого важного нюанса не осознают, предпочитая либо исправлять заблуждение, либо вовсе игнорировать само представление о нём.
Проблемы, отмеченные учёными, несут реальные практические последствия для внедрения ИИ. Например, в судебной практике важно точно определять позицию свидетелей: является ли их заявление выражением собственной убежденности или основанным на доказанных фактах мнением. Ошибочная трактовка показаний моделью может существенно повлиять на справедливость судебного процесса.
Подобные выводы применимы и к другим сферам, таким как психотерапия или образование, где необходимость учитывать индивидуальные убеждения пациентов или учеников столь же важна, как и получение точной информации.
Исследователи подчёркивают, что полученные ими результаты свидетельствуют о недостаточной готовности крупных языковых моделей полноценно интегрироваться в среду, где субъективные представления играют важную роль наряду с объективными фактами. Необходимы дальнейшие шаги по совершенствованию моделей, чтобы избежать возможных ошибок восприятия человеческих высказываний.
