Если именно язык делает нас людьми, что означает, что теперь крупные языковые модели обрели «металингвистические» способности? Сохранить статью Прочитать позже
Введение
Среди множества способностей, которыми обладает человек, какие присущи только ему? Язык был одним из главных кандидатов, по крайней мере, со времён Аристотеля, который писал, что человечество — «животное, обладающее языком». Хотя крупные языковые модели, такие как ChatGPT, поверхностно воспроизводят обычную речь, исследователи хотят выяснить, существуют ли специфические аспекты человеческого языка, которые просто не имеют аналогов в системах коммуникации других животных или устройств с искусственным интеллектом.
В частности, исследователи изучают, в какой степени языковые модели способны рассуждать о самом языке. Некоторые представители лингвистического сообщества считают, что языковые модели не просто не обладают способностью к рассуждению, они просто не могут этого делать. Эту точку зрения обобщил известный лингвист Ноам Хомский и два его соавтора в 2023 году, написав в The New York Times: «Правильные объяснения языка сложны и не могут быть получены, просто погружаясь в большие данные». Эти исследователи утверждали, что модели ИИ могут быть искусными в использовании языка, но они не способны к его сложному анализу.
Эта точка зрения была оспорена в недавней статье Гашпера Бегуша, лингвиста из Калифорнийского университета в Беркли; Максимилиана Домбковского, недавно получившего докторскую степень по лингвистике в Беркли; и Райана Роудса из Ратгерского университета. Исследователи подвергли ряд крупных языковых моделей (LLM) целому ряду лингвистических тестов, включая, в одном случае, обобщение LLM правил искусственного языка. Хотя большинство LLM не смогли разобрать языковые правила так, как это могут сделать люди, один из них продемонстрировал впечатляющие способности, значительно превзошедшие ожидания. Он был способен анализировать язык во многом так же, как это делает аспирант-лингвист: строя диаграммы предложений, разрешая множественные неоднозначные значения и используя сложные лингвистические функции, такие как рекурсия. Это открытие, по словам Бегуша, «бросает вызов нашему пониманию того, на что способен ИИ».
Эта новая работа своевременна и «очень важна», — заявил Том Маккой, специалист по вычислительной лингвистике из Йельского университета, не принимавший участия в исследовании. «По мере того, как общество становится всё более зависимым от этой технологии, всё важнее понимать, где она может быть успешной, а где — нет». Он добавил, что лингвистический анализ — идеальный испытательный полигон для оценки того, в какой степени эти языковые модели способны рассуждать подобно человеку.
Бесконечная сложность
Одна из сложностей при проведении строгой лингвистической проверки языковых моделей заключается в том, чтобы убедиться, что они заранее не знают ответы. Эти системы обычно обучаются на огромных объёмах письменной информации — не только на обширной интернет-информации на десятках, если не сотнях языков, но и, например, на учебниках по лингвистике. Теоретически, модели могли бы просто запоминать и воспроизводить информацию, полученную ими во время обучения.
Чтобы избежать этого, Бегуш и его коллеги разработали лингвистический тест из четырёх частей. Три из четырёх частей включали анализ специально составленных предложений с помощью древовидных диаграмм, впервые представленных в знаковой книге Хомского 1957 года «Синтаксические структуры». Эти диаграммы разбивают предложения на именные и глагольные группы, а затем подразделяют их на существительные, глаголы, прилагательные, наречия, предлоги, союзы и так далее.
Одна часть теста была посвящена рекурсии — способности встраивать фразы в фразы. «The sky is blue» — простое английское предложение. «Jane said that the sky is blue» встраивает исходное предложение в чуть более сложное. Важно отметить, что этот процесс рекурсии может продолжаться бесконечно: «Maria wondered if Sam knew that Omar heard that Jane said that the sky is blue» — также грамматически правильное, хотя и неуклюжее, рекурсивное предложение.
Хомский и другие называли рекурсию одной из определяющих характеристик человеческого языка, а возможно, и определяющей характеристикой человеческого разума. Лингвисты утверждают, что именно её безграничный потенциал даёт человеческим языкам способность генерировать бесконечное число возможных предложений на основе ограниченного словарного запаса и ограниченного набора правил. Пока нет убедительных доказательств того, что другие животные могут использовать рекурсию в какой-то сложной форме.
Рекурсия может встречаться в начале или конце предложения, но самая сложная для освоения форма, называемая центральным встраиванием, находится в середине — например, переход от «кот умер» к «кот, которого укусила собака, умер».
В тесте Бегуша языковым моделям было предложено 30 оригинальных предложений, содержащих сложные примеры рекурсии. Например: «Астрономия, которую изучали почитаемые нами древние, не была отделена от астрологии». Используя синтаксическое дерево, одна из языковых моделей — o1 от OpenAI — смогла определить, что предложение имеет следующую структуру:
Астрономия [которую изучали [почитаемые нами] древние] не была отделена от астрологии.
Затем модель пошла дальше и добавила к предложению еще один уровень рекурсии:
Астрономия [которую изучали древние [которых мы почитаем [которые жили на землях, которые мы лелеем] ] не была отделена от астрологии.
Бегуш, как и другие, не предполагал, что в ходе этого исследования будет обнаружена модель ИИ с более высоким уровнем «металингвистических» способностей — «способностью не только использовать язык, но и думать о языке», как он выразился.
Это один из «привлекающих внимание» аспектов их работы, сказал Дэвид Мортенсен, специалист по вычислительной лингвистике из Университета Карнеги-Меллона, не участвовавший в исследовании. Ведутся споры о том, не предсказывают ли языковые модели следующее слово (или языковой маркер) в предложении, что качественно отличается от глубокого понимания языка, присущего человеку. «Некоторые лингвисты утверждают, что магистры права (LLM) на самом деле не занимаются языком», — сказал он. «Это выглядит как опровержение этих утверждений».
Что ты имеешь в виду?
Маккой был удивлён общей эффективностью o1, особенно его способностью распознавать неоднозначность, которая, по его словам, «очень сложно распознаётся вычислительными моделями языка». У людей «есть обширные знания, основанные на здравом смысле, которые позволяют нам исключать неоднозначность. Но компьютерам сложно обладать таким уровнем знаний, основанных на здравом смысле».
Предложение типа «Роуэн кормил свою курицу» может описывать курицу, которую Роуэн держит в качестве домашнего животного, или же трапезу из куриного мяса, которую он дал своему (предположительно, более традиционному) питомцу. Модель o1 правильно сгенерировала два разных синтаксических дерева: одно соответствует первой интерпретации предложения, а другое — второй.
Исследователи также проводили эксперименты, связанные с фонологией — изучением звуковой структуры и организации мельчайших звуковых единиц, называемых фонемами. Чтобы говорить бегло, как носитель языка, люди следуют фонологическим правилам, которые они, возможно, усвоили в процессе практики, без специального обучения. В английском языке, например, добавление «s» к слову, оканчивающемуся на «g», создаёт звук «z», как в слове «dogs». Но добавление «s» к слову, оканчивающемуся на «t», скорее похоже на стандартное «s», как в слове «cats».
В задании по фонологии группа создала 30 новых мини-языков, как их назвал Бегуш, чтобы проверить, смогут ли студенты магистратуры по английскому языку правильно вывести фонологические правила без каких-либо предварительных знаний. Каждый язык состоял из 40 выдуманных слов. Вот несколько примеров слов из одного из языков:
θalp
ʃebre
ð i̤ z ṳ
g a̤ rb o̤ nd a̤
ʒ i̤ z ṳ ð e̤ jo
Затем они попросили языковые модели проанализировать фонологические процессы каждого языка. Для этого языка o1 верно написал, что «гласный становится придыхательным, когда ему непосредственно предшествует согласный, который одновременно звонкий и шумный» — звук, образующийся за счёт ограничения воздушного потока, как, например, «t» в слове «top».
Эти языки были недавно изобретены, поэтому o1 никак не мог столкнуться с ними во время обучения. «Я не ожидал, что результаты будут настолько впечатляющими и впечатляющими», — сказал Мортенсен.
Уникально ли это для человека или нет?
Насколько далеко могут зайти эти языковые модели? Будут ли они совершенствоваться до бесконечности, просто увеличиваясь в размерах — наращивая вычислительную мощность, сложность и объём обучающих данных? Или некоторые характеристики человеческого языка являются результатом эволюционного процесса, характерного только для нашего вида?
Недавние результаты показывают, что эти модели, в принципе, способны проводить сложный лингвистический анализ. Однако ни одна модель пока не принесла ничего оригинального и не научила нас чему-то новому о языке, чего мы раньше не знали.
Если совершенствование сводится лишь к увеличению вычислительной мощности и объёма обучающих данных, то Бегуш считает, что языковые модели в конечном итоге превзойдут нас в языковых навыках. Мортенсен отметил, что существующие модели несколько ограничены. «Они обучены делать что-то очень конкретное: предсказывать следующий токен, зная историю токенов [или слов], — сказал он. — Из-за особенностей обучения им сложно обобщать».
Но, учитывая недавний прогресс, Мортенсен не видит причин, почему языковые модели в конечном итоге не смогут продемонстрировать лучшее понимание нашего языка, чем наш собственный. «Это лишь вопрос времени, когда мы сможем создавать модели, которые лучше обобщают на основе меньшего количества данных и более креативно».
Новые результаты демонстрируют постепенное «уменьшение» свойств, которые считались исключительной прерогативой человеческого языка, сказал Бегуш. «Похоже, мы менее уникальны, чем считали раньше».
Источник: www.quantamagazine.org
