Знает ли искусственный интеллект, что такое яблоко? Она намерена это выяснить.

Специалист по информатике Элли Павлицк переводит философские концепции, такие как «смысл», в конкретные, проверяемые идеи. Комментарий Сохранить статью Прочитать позже

Введение

Начните разговор с Элли Павлицк о её работе — поиске доказательств понимания в больших языковых моделях (LLM) — и может показаться, что она над этим подшучивает. Фраза «неопределённый» — её любимый приём, и если она упоминает «смысл» или «рассуждение», то часто делает это в кавычках. Это просто способ Павлицк оставаться честной с собой. Будучи специалистом по информатике, изучающим языковые модели в Брауновском университете и Google DeepMind, она знает, что принятие присущей естественному языку неопределённости — единственный способ воспринимать его всерьёз. «Это научная дисциплина — и она немного расплывчата», — сказала она.

Точность и тонкость сосуществовали в мире Павлицк с подросткового возраста, когда она увлекалась математикой и естественными науками, «но всегда считала себя скорее творческим человеком». В университете она получила степени по экономике и игре на саксофоне, а затем продолжила обучение в докторантуре по информатике – области, где до сих пор чувствует себя чужой. «Многие считают, что интеллектуальные системы будут очень похожи на компьютерный код: аккуратные и удобные, как многие системы, которые мы хорошо понимаем», – сказала она. «Я же считаю, что ответы сложны. Если у меня есть простое решение, я почти уверена, что оно неверно. А я не хочу ошибаться».

Случайная встреча с учёным-программистом, работавшим в области обработки естественного языка, подтолкнула Павлиц к написанию докторской диссертации, посвящённой изучению того, как компьютеры могут кодировать семантику, или значение в языке. «Думаю, это удовлетворило определённую потребность», — сказала она. «Это затрагивает философию, и это соответствует многим вещам, над которыми я сейчас работаю». Сейчас одна из основных областей исследований Павлиц сосредоточена на «обосновании» — вопросе о том, зависит ли значение слов от вещей, существующих независимо от самого языка, таких как сенсорное восприятие, социальные взаимодействия или даже другие мысли. Языковые модели обучаются исключительно на тексте, поэтому они предоставляют плодотворную платформу для изучения того, как обоснование влияет на значение. Но сам этот вопрос десятилетиями занимал лингвистов и других мыслителей.

«Это не просто „технические“ проблемы, — сказал Павлицк. — Язык настолько обширен, что, на мой взгляд, он охватывает всё».

Журнал Quanta побеседовал с Павликом о превращении философии в науку, о том, что значит «смысл», и о важности неброских результатов. Интервью было сокращено и отредактировано для ясности.

Нажимая кнопку просмотра этого видео, вы соглашаетесь с нашей политикой конфиденциальности.

Что в эмпирическом плане означает «понимание» или «смысл»? Что именно вы ищете?

Когда я начинала свою исследовательскую программу в Брауне, мы решили, что значение так или иначе связано с понятиями. Я понимаю, что это теоретическое убеждение, которое разделяют не все, но оно кажется интуитивно понятным. Если вы используете слово «яблоко» в значении «яблоко», вам необходимо понятие яблока. Это должно существовать, независимо от того, используете ли вы это слово для обозначения яблока или нет. Вот что значит «иметь значение»: должно быть понятие, что-то, что вы вербализуете.

Я хочу найти концепции в модели. Мне нужно что-то, что я смогу зафиксировать внутри нейронной сети, доказательство того, что внутри есть нечто, представляющее «яблоко», что позволяет последовательно обозначать его одним и тем же словом. Потому что, похоже, существует эта внутренняя структура, которая не является случайной и произвольной. Можно найти эти маленькие кусочки четко определенных функций, которые надежно выполняют определенную работу.

Я сосредоточился на описании этой внутренней структуры. Какую форму она имеет? Это может быть некоторое подмножество весов внутри нейронной сети, или какая-то линейная алгебраическая операция над этими весами, некая геометрическая абстракция. Но она должна играть причинную роль [в поведении модели]: она связана с этими входами, но не с теми, и с этими выходами, но не с теми.

Это похоже на то, что можно начать называть «смыслом». Речь идёт о том, как найти эту структуру и установить взаимосвязи, чтобы, когда всё это будет на своих местах, мы могли применить это к таким вопросам, как «Знает ли оно, что означает слово „яблоко“?»

Вы нашли какие-нибудь примеры подобной структуры?

Да, один из результатов связан с тем, как языковая модель извлекает информацию. Если вы спросите модель: «Какова столица Франции?», она должна ответить: «Париж», а на вопрос «Какова столица Польши?» она должна ответить: «Варшава». Она вполне могла бы просто запомнить все эти ответы, и они могли бы быть разбросаны по всей модели — нет никакой реальной причины, по которой ей необходимо связывать эти вещи между собой.

Вместо этого мы обнаружили в модели небольшое место, где эта связь, по сути, сводится к одному маленькому вектору. Если добавить его к вопросу «Какова столица Франции?», он выдаст «Париж»; и тот же вектор, если спросить «Какова столица Польши?», выдаст «Варшаву». Это похоже на систематический вектор «получить столицу».

Это действительно захватывающее открытие, потому что, похоже, [модель] сводит эти небольшие концепции к минимуму, а затем применяет к ним общие алгоритмы. И хотя мы рассматриваем эти очень [простые] вопросы, речь идет о поиске доказательств существования этих исходных компонентов, которые использует модель. В этом случае было бы проще обойтись запоминанием — во многом именно для этого и предназначены эти сети. Вместо этого она разбивает [информацию] на части и «обосновывает» ее. И мы надеемся, что по мере разработки более совершенных экспериментальных моделей мы сможем найти нечто подобное для более сложных типов концепций.

Как заземление связано с этими представлениями?

Способ, которым люди усваивают язык, основан на огромном количестве невербальной информации: телесных ощущениях, эмоциях, чувстве голода и так далее. Считается, что это очень важно для понимания смысла.

Но существуют и другие понятия, связанные с внутренней структурой восприятия, которые в большей степени касаются внутренних представлений. Есть слова, которые не имеют очевидной связи с физическим миром, но тем не менее обладают смыслом. Слово «демократия» — яркий тому пример. Это нечто, существующее в вашей голове: я могу думать о демократии, не говоря о ней. Таким образом, связь может быть установлена между языком и этим внутренним представлением.

Но вы утверждаете, что даже такие внешние вещи, как цвет, могут быть привязаны к внутренним «концептуальным» представлениям, не полагаясь на восприятие. Как это может работать?

Ну, у языковой модели нет глаз, верно? Она ничего не «знает» о цветах. Поэтому, возможно, она улавливает что-то более общее, например, понимание взаимосвязей между ними. Я знаю, что когда я смешиваю синий и красный, я получаю фиолетовый; подобные отношения могут определять эту внутреннюю [основную] структуру.

Мы можем привести примеры цветов для модели LLM, используя коды RGB [последовательности чисел, представляющие цвета]. Если вы скажете: «Хорошо, вот красный», и дадите ей код RGB для красного, и «Вот синий», и дадите ей код RGB для синего, а затем скажете: «Скажите, что такое фиолетовый», она должна сгенерировать код RGB для фиолетового. Это сопоставление должно быть хорошим показателем того, что внутренняя структура модели является корректной — в ней отсутствуют перцепты [для цвета], но концептуальная структура присутствует.

Сложность заключалась в том, что [модель] могла просто запоминать коды RGB, которые присутствуют во всех её обучающих данных. Поэтому мы «повернули» все цвета [от их реальных значений RGB]: мы говорили LLM, что слово «жёлтый» связано с кодом RGB для зелёного, и так далее. Модель показала хорошие результаты: когда вы запрашивали зелёный, она давала вам повёрнутую версию кода RGB. Это говорит о наличии определённой согласованности в её внутренних представлениях о цвете. Она применяет знание их взаимосвязей, а не просто запоминает их.

В этом и заключается весь смысл привязки. Сопоставление названия с цветом — это произвольное действие. Речь идёт скорее о взаимосвязи между ними. Так что это было захватывающе.

Как эти вопросы, звучащие как философские, могут быть научными?

Недавно я узнал об одном мысленном эксперименте: что если океан нахлынет на песок, а когда отступит, узоры образуют стихотворение? Имеет ли это стихотворение смысл? Это кажется очень абстрактным, и можно долго вести философские дебаты.

Преимущество языковых моделей в том, что нам не нужен мысленный эксперимент. Это не вопрос типа: «Теоретически, будет ли то или иное существо разумным?». Это просто: является ли это существо разумным? Это становится научным и эмпирическим вопросом.

Иногда люди относятся к этому пренебрежительно; используется подход «случайных попугаев». Я думаю, это [проистекает из] страха, что люди будут чрезмерно доверять этим вещам — что мы и наблюдаем. И чтобы это исправить, люди говорят: «Нет, это все обман. Это дымовая завеса».

Это несколько несправедливо. Мы наткнулись на нечто действительно захватывающее и совершенно новое, и стоит глубоко это понять. Это огромная возможность, которую не следует упускать из-за опасений чрезмерной интерпретации моделей.

Конечно, вы также провели исследования, опровергающие именно такую чрезмерную интерпретацию.

Эта работа, в ходе которой люди находили все эти «поверхностные эвристики», которые модели использовали [для имитации понимания], — всё это сыграло основополагающую роль в моём становлении как учёного. Но это сложно. Не стоит объявлять о победе слишком рано. Во мне есть некоторый скептицизм или паранойя по поводу того, правильно ли была проведена оценка, даже если я знаю, что разработал её очень тщательно!

Вот отчасти и дело: не стоит преувеличивать. Другая часть заключается в том, что, если вы имеете дело с этими системами [языковых моделей], вы знаете, что они не достигают человеческого уровня — их подход к решению задач не так интеллектуален, как кажется.

Когда в этой области так много основных методов и терминов вызывают споры, как вообще измерить успех?

Мне кажется, что нам, учёным, нужно точное, понятное человеку описание того, что нас волнует — в данном случае, интеллекта. А затем мы подбираем слова, которые помогут нам это понять. Нам необходим какой-то рабочий словарь.

Но это сложно, потому что тогда может начаться эта битва за смысл. Когда люди спрашивают: «Имеет ли это значение: да или нет?», я не знаю. Мы направляем разговор не в ту сторону.

Я пытаюсь предложить точное описание поведения, которое нас интересовало. И в этом случае уже не имеет значения, называть ли это «значением», «представлением» или любыми другими подобными терминами. Суть в том, что существует теория или предлагаемая модель — давайте её оценим.

Итак, как же исследования языковых моделей могут перейти к этому более прямому подходу?

Глубокие вопросы, на которые мне действительно хотелось бы ответить — из чего состоит интеллект? Как выглядит человеческий интеллект? Как выглядит модельный интеллект? — очень важны. Но я думаю, что то, что должно произойти в ближайшие 10 лет, не очень привлекательно.

Если мы хотим разобраться с этими [внутренними] представлениями, нам нужны методы их обнаружения — научно обоснованные методы. Если всё сделать правильно, эти поверхностные, дотошные методологические тонкости не принесут громких заголовков. Но именно это действительно важно, и именно это позволит нам правильно ответить на эти глубокие вопросы.

Между тем, модели будут постоянно меняться. Поэтому многие будут продолжать публиковать информацию, выдавая её за «прорыв», хотя на самом деле это, вероятно, не так. На мой взгляд, ещё слишком рано говорить о крупных прорывах.

Люди изучают эти действительно простые задачи, например, просят [языковую модель выполнить] «Джон дал напиток _______» и пытаются определить, что получится — «Джон» или «Мэри». Результат не производит впечатления объяснения интеллекта. Но я действительно считаю, что инструменты, которые мы используем для описания этой скучной проблемы, необходимы для ответа на глубокие вопросы об интеллекте.

Источник: www.quantamagazine.org