Если язык — это то, что делает нас людьми, то что это значит теперь, когда большие языковые модели обрели «металингвистические» способности?
Иллюстрация: Роберт Нойбекер для журнала Quanta MagazineСохранить эту историю Сохранить эту историю
Оригинальная версия этой статьи была опубликована в журнале Quanta Magazine.
Среди множества способностей, которыми обладают люди, какие из них являются уникальными для человека? Язык был одним из главных кандидатов, по крайней мере, со времен Аристотеля, который писал, что человечество — это «животное, обладающее языком». Даже несмотря на то, что крупные языковые модели, такие как ChatGPT, поверхностно воспроизводят обычную речь, исследователи хотят знать, существуют ли определенные аспекты человеческого языка, которые просто не имеют аналогов в системах коммуникации других животных или устройств с искусственным интеллектом.
В частности, исследователи изучают, в какой степени языковые модели могут рассуждать о самом языке. Для некоторых представителей лингвистического сообщества языковые модели не только не обладают способностью к рассуждению, но и не могут её иметь. Эту точку зрения сформулировали Ноам Хомский, известный лингвист, и два его соавтора в 2023 году в статье в The New York Times, где они написали: «Правильные объяснения языка сложны и не могут быть усвоены просто путем анализа больших данных». Модели ИИ, возможно, и умеют использовать язык, утверждали эти исследователи, но они не способны анализировать язык сложным образом.
Гашпер Бегуш, лингвист из Калифорнийского университета в Беркли.
Фотография: Джами СмитЭта точка зрения была оспорена в недавней статье Гашпера Бегуша, лингвиста из Калифорнийского университета в Беркли; Максимилиана Дабковского, недавно получившего докторскую степень по лингвистике в Беркли; и Райана Роудса из Ратгерского университета. Исследователи подвергли ряд больших языковых моделей (ЛЛМ) целому ряду лингвистических тестов, включая, в одном случае, задачу обобщения правил вымышленного языка. Хотя большинство ЛЛМ не смогли анализировать лингвистические правила так, как это делают люди, одна из них продемонстрировала впечатляющие способности, значительно превзошедшие ожидания. Она смогла анализировать язык примерно так же, как это делал бы аспирант-лингвист — составлять схемы предложений, разрешать множественные неоднозначные значения и использовать сложные лингвистические особенности, такие как рекурсия. Это открытие, по словам Бегуша, «ставит под сомнение наше понимание того, на что способен искусственный интеллект».
Эта новая работа своевременна и «очень важна», — сказал Том Маккой, специалист по вычислительной лингвистике из Йельского университета, не принимавший участия в исследовании. «По мере того, как общество становится все более зависимым от этой технологии, все важнее понимать, в чем она может преуспеть, а в чем может потерпеть неудачу». Лингвистический анализ, добавил он, является идеальной площадкой для оценки того, насколько эти языковые модели могут рассуждать подобно людям.
Бесконечная сложность
Одна из сложностей при проведении строгой лингвистической проверки языковых моделей заключается в том, чтобы убедиться, что они не знают ответы заранее. Эти системы, как правило, обучаются на огромных массивах письменной информации — не только на большей части интернета, на десятках, если не сотнях языков, но и на таких вещах, как учебники по лингвистике. Теоретически, модели могли бы просто запоминать и воспроизводить информацию, которую им предоставили во время обучения.
Чтобы избежать этого, Бегуш и его коллеги создали лингвистический тест, состоящий из четырех частей. Три из четырех частей включали в себя анализ специально составленных предложений с использованием древовидных диаграмм, которые впервые были представлены в знаковой книге Хомского 1957 года «Синтаксические структуры». Эти диаграммы разбивают предложения на именные и глагольные группы, а затем дополнительно подразделяют их на существительные, глаголы, прилагательные, наречия, предлоги, союзы и так далее.
Одна из частей теста была посвящена рекурсии — умению встраивать фразы в фразы. «Небо голубое» — это простое английское предложение. «Джейн сказала, что небо голубое» встраивает исходное предложение в несколько более сложное. Важно отметить, что этот процесс рекурсии может продолжаться бесконечно: «Мария задавалась вопросом, знал ли Сэм, что Омар слышал, что Джейн сказала, что небо голубое» — это также грамматически правильное, хотя и несколько неуклюжее, рекурсивное предложение.
Рекурсия, по мнению Хомского и других, является одной из определяющих характеристик человеческого языка — и, возможно, даже определяющей характеристикой человеческого разума. Лингвисты утверждают, что именно её безграничный потенциал позволяет человеческим языкам генерировать бесконечное количество возможных предложений из конечного словаря и конечного набора правил. До сих пор нет убедительных доказательств того, что другие животные могут использовать рекурсию в более сложной форме.
Рекурсия может происходить в начале или в конце предложения, но наиболее сложная для освоения форма, называемая центральным вложением, происходит в середине — например, переход от «кот умер» к «кот, которого укусила собака, умер».
В ходе теста Бегуша языковым моделям были предоставлены 30 оригинальных предложений, содержащих сложные примеры рекурсии. Например: «Астрономия, которую изучали древние, которых мы почитаем, не была отделена от астрологии». Используя синтаксическое дерево, одна из языковых моделей — o1 от OpenAI — смогла определить, что предложение имеет следующую структуру:
Астрономия , которую изучали древние [которых мы почитаем], не была отделена от астрологии.
Затем модель пошла дальше и добавила к предложению еще один уровень рекурсии:
Астрономия, которую изучали древние (которых мы почитаем , жившие на землях, которые мы ценим), не была отделена от астрологии.
Бегуш, среди прочих, не ожидал, что в ходе этого исследования будет обнаружена модель ИИ с более высоким уровнем «металингвистических» способностей — «способности не просто использовать язык, но и думать о языке», как он выразился.
Это один из аспектов их статьи, привлекающих внимание, — сказал Дэвид Мортенсен, специалист по вычислительной лингвистике из Университета Карнеги-Меллона, не принимавший участия в работе. Велись дебаты о том, предсказывают ли языковые модели просто следующее слово (или лингвистический токен) в предложении, что качественно отличается от глубокого понимания языка, которым обладают люди. «Некоторые лингвисты утверждают, что языковые модели на самом деле не занимаются языком», — сказал он. «Это выглядит как опровержение этих утверждений».
Что ты имеешь в виду?
Маккой был удивлен общей производительностью o1, особенно его способностью распознавать неоднозначность, которая, по его словам, «явно является сложной задачей для вычислительных моделей языка». Люди «обладают большим объемом знаний здравого смысла, позволяющих нам исключать неоднозначность. Но компьютерам сложно обладать таким уровнем знаний здравого смысла».
Предложение типа «Роуэн покормил свою домашнюю курицу» может описывать курицу, которую Роуэн держит в качестве домашнего питомца, или же куриное мясо, которым он кормил своего (предположительно, более традиционного) животного-компаньона. Модель o1 правильно построила два разных синтаксических дерева: одно соответствует первой интерпретации предложения, а другое — второй.
Исследователи также провели эксперименты, связанные с фонологией — наукой об изучении структуры звуков и организации мельчайших звуковых единиц, называемых фонемами. Чтобы говорить бегло, как носитель языка, люди следуют фонологическим правилам, которые они могли усвоить на практике, не получая при этом явного обучения. Например, в английском языке добавление буквы «s» к слову, оканчивающемуся на «g», создает звук «z», как в слове «dogs». Но добавление «s» к слову, оканчивающемуся на «t», звучит скорее как стандартный «s», как в слове «cats».
В задании по фонологии группа придумала 30 новых мини-языков, как их назвал Бегуш, чтобы выяснить, смогут ли носители языка правильно вывести фонологические правила без каких-либо предварительных знаний. Каждый язык состоял из 40 выдуманных слов. Вот несколько примеров слов из одного из языков:
θalp
ʃebre
ði̤zṳ
гарбонда
ʒi̤zṳðe̤jo
Затем они попросили языковые модели проанализировать фонологические процессы каждого языка. Для этого языка o1 правильно написал, что «гласный звук становится придыхательным, когда ему непосредственно предшествует согласный звук, который одновременно является звонким и обструентным» — звук, образующийся за счет ограничения потока воздуха, как, например, «т» в слове «top».
Эти языки были недавно изобретены, поэтому o1 никак не мог ознакомиться с ними во время обучения. «Я не ожидал, что результаты будут настолько сильными и впечатляющими», — сказал Мортенсен.
Уникальность человека или нет?
Насколько далеко могут продвинуться эти языковые модели? Будут ли они улучшаться без ограничений просто за счет увеличения их размера — наращивания вычислительной мощности, сложности и объема обучающих данных? Или же некоторые характеристики человеческого языка являются результатом эволюционного процесса, характерного только для нашего вида?
Недавние результаты показывают, что эти модели в принципе способны проводить сложный лингвистический анализ. Но ни одна модель пока не предложила ничего оригинального и не научила нас чему-то новому о языке, чего мы раньше не знали.
Если улучшение сводится лишь к увеличению вычислительной мощности и объема обучающих данных, то Бегуш считает, что языковые модели в конечном итоге превзойдут нас в языковых навыках. Мортенсен отметил, что существующие модели несколько ограничены. «Они обучены делать нечто очень специфическое: на основе истории токенов [или слов] предсказывать следующий токен», — сказал он. «У них есть некоторые проблемы с обобщением из-за способа их обучения».
Однако, учитывая недавний прогресс, Мортенсен сказал, что не видит причин, почему языковые модели в конечном итоге не продемонстрируют понимание нашего языка, превосходящее наше собственное. «Это лишь вопрос времени, когда мы сможем создавать модели, которые лучше обобщают данные, используя меньшее количество информации, и делать это более творческим способом».
Новые результаты показывают постепенное «постепенное исчезновение» свойств, которые ранее считались исключительной прерогативой человеческого языка, сказал Бегуш. «Похоже, что мы менее уникальны, чем думали раньше».
Оригинальная статья перепечатана с разрешения журнала Quanta Magazine, независимого издания Фонда Саймонса, миссия которого заключается в повышении осведомленности общественности о науке путем освещения научных разработок и тенденций в области математики, физических и биологических наук.
Источник: www.wired.com
