Почему у ИИ галлюцинации?

Склонность к выдумке сдерживает развитие чат-ботов. Но именно этим они и занимаются.

MIT Technology Review объясняет: позвольте нашим авторам разобраться в сложном и запутанном мире технологий, чтобы помочь вам понять, что будет дальше. Подробнее об этой серии можно прочитать здесь.

Новый чат-бот Всемирной организации здравоохранения был запущен 2 апреля с самыми благими намерениями.

Виртуальный аватар с обновленным лицом, работающий на основе GPT-3.5, SARAH (интеллектуальный помощник по ресурсам на основе ИИ в области здравоохранения) круглосуточно раздает советы по здоровью на восьми разных языках о том, как правильно питаться, бросить курить, снимать стресс и многое другое для миллионов людей по всему миру.

Но, как и все чат-боты, SARAH может давать неточные ответы. Вскоре выяснилось, что он выдаёт неверную информацию. В одном случае он составил список поддельных имён и адресов несуществующих клиник в Сан-Франциско. Всемирная организация здравоохранения предупреждает на своём сайте, что ответы SARAH могут быть неточны.

И снова. Провалы чат-ботов стали привычным мемом. Недолго просуществовавший научный чат-бот Galactica от Meta писал научные статьи и создавал статьи в Википедии об истории медведей в космосе. В феврале Air Canada было предписано соблюдать политику возврата средств, разработанную её чат-ботом службы поддержки клиентов. В прошлом году адвокат был оштрафован за подачу судебных документов, заполненных поддельными судебными заключениями и юридическими ссылками, выдуманными ChatGPT.

Проблема в том, что большие языковые модели настолько хороши в своём деле, что создаваемое ими в большинстве случаев выглядит правильно. И поэтому доверять им сложно.

Эта склонность к выдумке, известная как галлюцинации, — одно из главных препятствий, сдерживающих более широкое распространение чат-ботов. Почему они это делают? И почему мы не можем это исправить?

Волшебный шар 8

Чтобы понять, почему большие языковые модели галлюцинируют, нужно рассмотреть, как они работают. Прежде всего, следует отметить, что именно для этого и предназначены эти модели – выдумывать. Когда вы задаёте чат-боту вопрос, он получает ответ, основанный на большой языковой модели, лежащей в его основе. Но это не похоже на поиск информации в базе данных или использование поисковой системы в интернете.

Откройте большую языковую модель, и вы не увидите готовой информации, ожидающей извлечения. Вместо этого вы обнаружите миллиарды и миллиарды чисел. Она использует эти числа для вычисления своих ответов с нуля, создавая новые последовательности слов на лету. Значительная часть текста, генерируемого большой языковой моделью, выглядит так, будто его скопировали из базы данных или реальной веб-страницы. Но, как и в большинстве художественных произведений, эти сходства случайны. Большая языковая модель больше похожа на бесконечный магический шар-восьмерку, чем на энциклопедию.

Большие языковые модели генерируют текст, предсказывая следующее слово в последовательности. Если модель видит «the cat sat», она может предположить «on». Эта новая последовательность возвращается в модель, которая теперь может предположить «the». Если снова пройтись по кругу, она может предположить «mat» — и так далее. Этого одного приёма достаточно, чтобы сгенерировать практически любой текст, который только можно себе представить, от объявлений Amazon до хайку, фанфиков, компьютерного кода, журнальных статей и многого другого. Как любит говорить Андрей Карпати, учёный-компьютерщик и соучредитель OpenAI: большие языковые модели учатся создавать интернет-документы.

Связанная история

Большие языковые модели всё лучше имитируют человеческую креативность. Однако это не значит, что они действительно креативны.

Представьте себе миллиарды чисел внутри большой языковой модели как огромную электронную таблицу, которая фиксирует статистическую вероятность появления определённых слов рядом с другими словами. Значения в таблице устанавливаются в процессе обучения модели, в ходе которого эти значения корректируются снова и снова, пока догадки модели не будут отражать лингвистические закономерности, обнаруженные в терабайтах текста, взятого из интернета.

Чтобы угадать слово, модель просто выполняет вычисления. Она вычисляет оценку для каждого слова в своём словаре, которая отражает вероятность того, что это слово появится следующим в последовательности. Слово с лучшим результатом выигрывает. Короче говоря, большие языковые модели — это статистические игровые автоматы. Поверните ручку, и из неё выскочит слово.

Это все галлюцинации.

Вывод? Всё это галлюцинация, но мы называем её так только тогда, когда замечаем, что она неверна. Проблема в том, что большие языковые модели настолько хороши в своём деле, что то, что они создают, в большинстве случаев выглядит верным. И поэтому доверять им сложно.

Можем ли мы контролировать, что генерируют большие языковые модели, чтобы они гарантированно выдавали точный текст? Эти модели слишком сложны, чтобы вручную обрабатывать их числа. Но некоторые исследователи считают, что их обучение на ещё большем количестве текста позволит и дальше снижать уровень ошибок. Мы наблюдаем эту тенденцию по мере того, как большие языковые модели становятся всё больше и лучше.

Другой подход заключается в том, чтобы просить модели проверять свою работу по мере её выполнения, разбивая ответы на этапы. Это известно как подсказка по цепочке мыслей и, как было показано, повышает точность вывода чат-бота. Пока это невозможно, но будущие крупные языковые модели, возможно, смогут проверять факты в тексте, который они генерируют, и даже перематывать его, если он начинает сходить с рельсов.

Но ни один из этих методов не избавит от галлюцинаций полностью. Пока большие языковые модели являются вероятностными, в их результатах присутствует элемент случайности. Бросьте 100 кубиков, и вы получите закономерность. Бросьте их ещё раз, и вы получите другую. Даже если кубики, как и большие языковые модели, взвешены так, чтобы одни закономерности появлялись гораздо чаще других, результаты всё равно не будут одинаковыми каждый раз. Даже одна ошибка из 1000 — или 100 000 — составляет огромное количество ошибок, если учесть, сколько раз в день используется эта технология.

Чем точнее становятся эти модели, тем меньше мы теряем бдительность. Исследования показывают, что чем лучше становятся чат-боты, тем выше вероятность, что люди не заметят ошибку, когда она произойдет.

Возможно, лучшее средство от галлюцинаций — это контролировать свои ожидания относительно предназначения этих инструментов. Когда адвоката, использовавшего ChatGPT для создания поддельных документов, попросили объясниться, он, как и все остальные, был удивлён произошедшим. «Я слышал об этом новом сайте, который я ошибочно принял за суперпоисковик», — сказал он судье. «Я не понимал, что ChatGPT может фальсифицировать дела».

Источник: www.technologyreview.com