Исследователи в области «обработки естественного языка» пытались укротить человеческий язык. И тут появился трансформатор. Комментарий Сохранить статью Прочитать позже
Что-то очень важное произошло с этой сферой. И с людьми тоже.
—Кристофер Поттс
Заставить учёных распознать смену парадигмы, особенно в режиме реального времени, может быть непросто. В конце концов, для по-настоящему революционных изменений в знаниях могут потребоваться десятилетия. Но не обязательно произносить слово на букву «П», чтобы признать, что определённая область — обработка естественного языка (НЛП) — изменилась. Очень сильно.
Цель обработки естественного языка очевидна: сделать непокорность человеческого языка (его «естественную» составляющую) доступной для компьютеров (составляющую «обработку»). НЛП, представляющее собой сочетание инженерных и научных достижений, зародившееся ещё в 1940-х годах, дало Стивену Хокингу голос, Siri – мозг, а социальным сетям – ещё один способ таргетировать рекламу. Это также стало отправной точкой для появления больших языковых моделей – технологии, которую НЛП помогла создать, но чей стремительный рост и преобразующая сила всё же застали врасплох многих специалистов в этой области.
Другими словами: в 2019 году компания Quanta сообщила о революционной на тот момент системе обработки естественного языка BERT, ни разу не употребив термин «большая языковая модель». Всего пять с половиной лет спустя LLM повсюду, стимулируя открытия, перемены и дискуссии в любом научном сообществе, с которым они соприкасаются. Но первым, чего они коснулись — к лучшему, к худшему и всему остальному, — стала обработка естественного языка. Каково было это влияние для тех, кто столкнулся с ним лично?
Quanta взяла интервью у 19 нынешних и бывших исследователей НЛП, чтобы рассказать эту историю. От экспертов до студентов, от штатных учёных до основателей стартапов, они описывают череду моментов — озарений, воодушевляющих встреч и как минимум одного «экзистенциального кризиса», — которые изменили их мир. И наш.
* * *
Пролог: Перед потопом
трансформаторы • BERTology • масштаб
К 2017 году нейронные сети уже изменили статус-кво в обработке естественного языка. Но тем же летом, в основополагающей статье под названием «Внимание — это всё, что вам нужно», исследователи из Google представили совершенно новый тип нейронной сети, названный «трансформером», который вскоре стал доминировать в этой области. Не все это предвидели.
ЭЛЛИ ПАВЛИК (доцент кафедры информатики и лингвистики Университета Брауна; научный сотрудник Google DeepMind) : Google организовала в Нью-Йорке семинар для учёных, чтобы они могли пообщаться со своими исследователями, и Якоб Ушкорейт, один из авторов этой статьи, выступил на нём. Он очень чётко указал на то, насколько агрессивно эта модель не была разработана с учётом каких-либо языковых знаний. Это почти троллинг: я просто расскажу обо всех этих случайных решениях, которые мы принимали. Посмотрите, насколько это абсурдно, но посмотрите, как хорошо это работает.
Уже тогда существовало ощущение, что нейронные сети берут верх, поэтому люди были настроены очень скептически и сопротивлялись. Главным выводом было: «Это всё просто хаки».
РЭЙ МУНИ (директор Лаборатории искусственного интеллекта Техасского университета в Остине) : Это было довольно интересно, но не стало мгновенным прорывом, верно? Мир не изменился за один день. Я действительно считаю, что это концептуально неверная модель для обработки языка. Я просто не осознавал, что если обучить эту совершенно концептуально неверную модель на большом количестве данных, она может творить удивительные вещи.
НАЗНИН РАДЖАНИ (основатель и генеральный директор Collinear AI; в то время аспирантка, обучавшаяся у Рэя Муни) : Я отчётливо помню, как читала «Внимание — это всё, что вам нужно» в нашей группе чтения по НЛП. Рэй, кстати, читал её, и у нас была очень оживлённая дискуссия. Концепция внимания уже существовала какое-то время, и, возможно, поэтому Рэй отреагировал как-то так: «Ну и ну». Но мы подумали: «Ого, похоже, это переломный момент».
Р. ТОМАС МАККОЙ (доцент кафедры лингвистики Йельского университета) : Я отчетливо помню, как тем летом члены исследовательской группы, в которой я работал, спрашивали: «Стоит ли нам заняться этими трансформаторами?», и все отвечали: «Нет, это явно просто мимолетная перспектива».
КРИСТОФЕР ПОТТС (заведующий кафедрой лингвистики Стэнфордского университета) : Статья о «Трансформерах» прошла мимо меня. Даже если вы читаете её сейчас, она очень сдержанная. Думаю, по статье было бы очень сложно сказать, какой эффект она произведёт. Для этого потребовались другие провидцы, например, команда BERT.
Вскоре после своего появления в октябре 2018 года, модель BERT с открытым исходным кодом от Google (и менее известная модель GPT от OpenAI) начали бить рекорды производительности, установленные предыдущими нейронными сетями во многих задачах обработки языка. Последовал шквал «BERTологии»: исследователи пытались понять, что движет моделями, одновременно пытаясь превзойти друг друга в бенчмарках — стандартизированных тестах, помогающих оценить прогресс в обработке естественного языка.
АННА РОДЖЕРС (доцент кафедры компьютерных наук Копенгагенского университета информационных технологий; главный редактор ACL Rolling Review) : Произошёл настоящий бум, и все писали статьи о BERT. Помню дискуссию в [исследовательской] группе, в которой я участвовала: «Хорошо, нам просто придётся работать над BERT, потому что это сейчас в тренде». Будучи молодым постдоком, я просто приняла это: это то, чем занимается наша область. Кто я такая, чтобы говорить, что она ошибается?
ДЖУЛИАН МАЙКЛ (руководитель лаборатории безопасности, оценки и согласования Scale AI; в то время аспирант Вашингтонского университета) : После запуска BERT было заброшено очень много проектов. А дальше прогресс в этих бенчмарках пошёл гораздо быстрее, чем ожидалось. Поэтому люди говорят: «Нам нужно больше бенчмарков, и нам нужны более сложные бенчмарки, и нам нужно бенчмаркировать всё, что можно».
Некоторые считали этот «бум эталонных показателей» отвлекающим фактором. Другие видели в нём предвестник грядущих событий.
СЭМ БОУМЭН (технический сотрудник Anthropic; в то время доцент Нью-Йоркского университета) : Когда люди отправляли результаты бенчмарков и хотели попасть в таблицу лидеров, мне часто приходилось проверять результаты, чтобы убедиться, что они имеют смысл и не являются просто спамом в нашей системе. Поэтому я видел каждый полученный результат и замечал, как много из них представляли собой всё более масштабируемые устаревшие или простые идеи.
ДЖУЛИАН МАЙКЛ: Это превратилось в игру масштабирования: масштабирование этих моделей повысит их способность соответствовать любым заданным нами критериям. А я говорю: «Ладно, мне это не кажется интересным».
СЭМ БОУМЭН: Изначально предполагалось, что «Трансформеры не станут намного лучше BERT без новых прорывов». Но мне становилось всё яснее, что масштаб — главный фактор, определяющий, насколько далеко всё зайдёт. Мы получим довольно мощные системы общего назначения. Дальше будет интересно. Ставки будут расти.
Поэтому меня очень заинтересовал этот вопрос: хорошо, а что произойдет, если продолжать играть в эту игру в течение нескольких лет?
* * *
I. Войны Роз (2020–22)
«понимание войн» • GPT-3 • «поле в кризисе»
По мере того, как модели-трансформеры приближались к «человеческим базовым показателям» (и превосходили их) по различным показателям естественного языка (NLP), уже назревали споры о том, как интерпретировать их возможности. В 2020 году эти споры, особенно касающиеся «смысла» и «понимания», достигли апогея в статье, где LLM был представлен в виде осьминога.
ЭМИЛИ М. БЕНДЕР (профессор кафедры лингвистики Вашингтонского университета; президент Ассоциации компьютерной лингвистики 2024 года) : У меня в Твиттере шли бесконечные споры, и я из-за этого очень ворчала. Был один случай с использованием BERT для восстановления отредактированного отчёта Мюллера, что было ужасной идеей. Казалось, что поток людей, которые хотели подойти ко мне и сказать: «Нет, нет, нет, магистры права действительно всё понимают», был бесконечным. Один и тот же аргумент повторялся снова и снова.
Я разговаривал с [специалистом по компьютерной лингвистике] Александром Коллером, и он сказал: «Давайте просто напишем научную версию этой статьи, чтобы это были не просто идеи в Твиттере, а рецензируемое исследование. И на этом всё закончится». На этом всё не закончилось.
«Тест осьминога» Бендера и Коллера утверждал, что модели, обученные только имитировать форму языка с помощью статистических закономерностей, никогда не смогут понять его смысл — так же, как «гиперразумный осьминог» никогда по-настоящему не поймет, какова жизнь на суше, даже если он будет бегло воспроизводить закономерности, которые он наблюдал в человеческих сообщениях.
СЭМ БОУМЭН: Этот аргумент — что «здесь не на что смотреть», что модели языка нейронных сетей — это в принципе не то, чем нам следует интересоваться, что многое из этого — просто шумиха — вызвал серьезные разногласия.
ДЖУЛИАН МАЙКЛ: Я в это ввязался. Я написал этот разбор статьи — это был единственный пост в блоге, который я когда-либо писал, и он был размером с целую статью. Я очень старался, чтобы он достоверно передавал то, что имели в виду авторы. Я даже попросил Эмили прочитать черновик моей статьи и исправить некоторые мои недопонимания. Но если читать между строк, я просто выпотрошу всё. Просто с улыбкой на лице.
ЭЛЛИ ПАВЛИК: Для меня именно в эти «войны понимания» на самом деле происходила расплата на поле боя.
Тем временем, уже шло новое исследование, основанное на реальном масштабе, а не на мысленных экспериментах. В июне 2020 года OpenAI выпустила GPT-3 — модель, более чем в 100 раз превосходящую предыдущую версию и гораздо более функциональную. До появления ChatGPT оставалось ещё много лет, но для многих исследователей естественного языка именно GPT-3 стала моментом, изменившим всё. Теперь осьминог Бендера стал реальностью.
КРИСТОФЕР КАЛЛИСОН-БЕРЧ (профессор компьютерных и информационных наук, Пенсильванский университет) : Я получил ранний доступ к бета-версии GPT-3 и сам с ней экспериментировал. Я пробую всё то, что мои недавние аспиранты сделали в своих диссертациях, и вдруг осознаю — боже мой, то, на что у студента ушло пять лет? Кажется, я мог бы воспроизвести это за месяц. Все эти классические задачи НЛП, многие из которых я затрагивал или активно исследовал на протяжении всей своей карьеры, казались выполненными с первого раза. Вот так, готово. И это было просто, очень, очень шокирующе. Иногда я описываю это как карьерно-экзистенциальный кризис.
НАЗНИН РАДЖАНИ: Когда я тестировала GPT-3, у него было много ограничений, связанных с безопасностью. На вопросы вроде «Должны ли женщины иметь право голоса?» он отвечал «нет» и тому подобное. Но сам факт того, что его можно было просто научить выполнять совершенно новую задачу, используя всего три-четыре строчки естественного языка, был просто ошеломляющим.
КРИСТОФЕР ПОТТС: Кто-то из нашей группы получил ранний доступ к API GPT-3. И я помню, как стоял в своём кабинете, прямо там, где стою сейчас, и думал: «Я задам ему несколько логических вопросов, а он их провалит». Я покажу, что он только что запомнил всё то, что вас так впечатлило. Я покажу вам, что это фокус.
Помню, я пытался снова и снова. Потом мне пришлось признаться группе: «Да, это определённо больше, чем просто фокус».
ЙЕДЖИН ЧОЙ (профессор компьютерных наук Стэнфордского университета; стипендиат программы Макартура 2022 года) : Он всё ещё был неисправен. Многие общеизвестные знания, [исходящие] из GPT-3, были довольно шумными. Но GPT-2 был близок к нулю — он был никуда не годен. А GPT-3 был примерно на две трети хорош, что меня весьма воодушевило.
Р. ТОМАС МАККОЙ: Эта работа GPT-3 была чем-то вроде финала сериала «Игра престолов». Это было то, что все только что прочитали, и все обсуждали и сплетничали о ней.
ЛИАМ ДУГАН (аспирант четвёртого курса Пенсильванского университета) : Это было похоже на то, как будто у нас был секрет, и все, с кем ты им делился, были в восторге. Мне нужно было лишь подвести кого-нибудь к моему ноутбуку.
ДЖУЛИАН МАЙКЛ: BERT был фазовым переходом в этой области, но GPT-3 был чем-то более интуитивным. Система, порождающая язык — мы все знаем эффект ЭЛИЗА , верно? Он вызывает у нас гораздо более сильную реакцию. Но он также внес больше изменений в практическую реальность наших исследований — это как: «Теоретически [с этим] можно сделать что угодно». Каковы последствия? Открылся огромный ящик с червями.
OpenAI не опубликовала исходный код GPT-3. Сочетание огромного масштаба, разрушительного потенциала и корпоративной секретности заставило многих исследователей нервничать.
СЭМ БОУМЭН: Это был довольно спорный момент, потому что GPT-3 на самом деле не был разработкой сообщества НЛП. Некоторое время публикация результатов исследований, посвящённых, в первую очередь, GPT-3, вызывала серьёзное неодобрение, поскольку она [воспринималась] как некий частный артефакт, доступ к которому требовал денег, чего раньше обычно не случалось.
АННА РОДЖЕРС: Я подумывала провести ещё один бенчмарк, но перестала видеть в этом смысл. Допустим, GPT-3 либо может, либо не может продолжать [генерировать] эти потоки символов. Это кое-что говорит мне о GPT-3, но это даже не вопрос исследования машинного обучения. Это бесплатное тестирование продукта.
ДЖУЛИАН МАЙКЛ: Был такой термин — «API-наука», который люди использовали, чтобы сказать: «Мы занимаемся научными исследованиями продукта? Это не наука, это невоспроизводимо». А другие говорили: «Послушайте, нам нужно быть на переднем крае. Вот что есть».
ТАЛ ЛИНЗЕН (доцент кафедры лингвистики и науки о данных Нью-Йоркского университета; научный сотрудник Google) : Некоторое время люди в академических кругах не были уверены, что делать.
Эту двойственность разделяли даже некоторые представители отраслевых лабораторий, такие как Microsoft, которая лицензировала GPT-3 исключительно, и Google.
КАЛИКА БАЛИ (старший научный сотрудник, Microsoft Research India) : Руководство Microsoft довольно рано сообщило нам об этом. Ощущение было такое, будто находишься на ракете, которую запускают с Земли на Луну. И хотя [это] было очень захватывающе, скорость движения была такой, что приходилось постоянно поглядывать на все навигационные приборы, чтобы убедиться, что ты всё ещё движешься в правильном направлении.
ЭМИЛИ М. БЕНДЕР: Тимнит Гебру [в то время исследовательница по этике ИИ в Google] обратилась ко мне в личных сообщениях в Твиттере и спросила, знаю ли я о каких-либо работах о возможных недостатках увеличения языковых моделей. В Google она видела, как окружающие постоянно твердили: «OpenAI больше. Нам нужно увеличить наши». И её обязанностью было спросить: «Что может пойти не так?»
Статья, которую Бендер впоследствии написала вместе с Гебру и её коллегами, — «Об опасностях стохастических попугаев : могут ли языковые модели быть слишком большими?» — придала моральную остроту основным (и всё более болезненным) спорам в этой области, касающимся формы против смысла и метода против масштаба. Результатом стала своего рода гражданская война в НЛП.
КАЛИКА БАЛИ: Некоторые из замечаний Эмили заслуживают внимания. В том году сообщество НЛП внезапно озаботилось тем, что пренебрегло всем, кроме пяти самых популярных языков мира — раньше никто об этом не говорил. Но мне не понравилось, что всё сообщество НЛП самоорганизовалось и выступило за, и против этой статьи.
Р. ТОМАС МАККОЙ: Вы за или против магистратуры права? В то время это было очень актуально.
ДЖУЛИ КАЛЛИНИ (аспирантка второго года обучения по специальности «компьютерные науки», Стэнфордский университет) : Будучи молодым исследователем, я определённо ощущала, что существуют разные стороны. В то время я училась в Принстонском университете. Я отчётливо помню, что разные люди, которыми я восхищалась — мой научный руководитель из Принстона [Кристиан Феллбаум] и профессора из других университетов — были по разные стороны баррикад. Я не знала, какую сторону принять.
КАЛИКА БАЛИ: Выход этой статьи был позитивным событием, но было также неприятно видеть, как люди, которых ты действительно уважаешь, обнажают мечи друг на друга. Я даже удалила Твиттер. Это меня напрягало.
ЛИАМ ДУГАН: Будучи аспирантом, я сталкиваюсь с определенным напряжением: если хочешь провести исследование, которое будет иметь хоть какой-то долгосрочный эффект спустя два-три года после публикации, приходится выбирать сторону. Потому что это во многом определяет даже то, как ты смотришь на проблемы.
Я регулярно читаю статьи с обеих сторон. Обычно я просто подписывался на Substacks, чтобы увидеть гневную лингвистическую позицию, и шёл в Твиттер, чтобы увидеть сторонников масштабирования.
ДЖЕФФ МИТЧЕЛЛ (доцент кафедры компьютерных наук и искусственного интеллекта, Университет Сассекса) : Мне показалось немного ненормальным, насколько все это стало противоречивым.
По мере того, как масштабирование исследований продолжало набирать обороты, некоторые считали, что дискурс в этой области серьёзно ухудшается. В попытке исправить ситуацию летом 2022 года сообщество исследователей НЛП провело опрос по «30 потенциально спорным позициям», включая «Необходимость лингвистической структуры», «Масштабирование решает практически любую важную проблему» и «ИИ может вскоре привести к революционным общественным изменениям».
СЭМ БОУМЭН: Индустриальное сообщество, которое активно работало над масштабированием на ранних этапах, никогда не было так тесно связано с академическим НЛП. Их считали аутсайдерами. Это привело к расхождениям в понимании происходящего между этими двумя [группами], поскольку они не особо много общались друг с другом.
ЛИАМ ДУГАН: В том году большую часть опроса провели на конференции ACL [Ассоциации компьютерной лингвистики, ведущей конференции в этой области]. Это была первая конференция, на которой я побывал, и она меня очень воодушевила, потому что там было столько действительно умных людей. Я получил опрос, прочитал его на телефоне и подумал: «Похоже, они просто психи».
ДЖУЛИАН МАЙКЛ: Эта сфера и так находилась в кризисе. Опрос лишь укрепил наше понимание.
ЛИАМ ДУГАН: Вы увидели распад всей области — слияние сторон. Лингвистическая сторона не очень доверяла сырой технологии магистратуры права. Есть сторона, которая находится где-то посередине. А есть совершенно безумная сторона, которая искренне верила, что масштабирование приведёт нас к общему уровню интеллекта.
В то время я просто отмахнулся от них. А потом появился ChatGPT.
* * *
II. Чикскулуб (ноябрь 2022 – 2023)
ChatGPT • резкие пробуждения • «захлебнулся в шуме»
30 ноября 2022 года OpenAI запустила свой экспериментальный чат-бот. ChatGPT обрушился на сообщество специалистов по обработке естественного языка, словно астероид.
IZ BELTAGY (ведущий научный сотрудник Института искусственного интеллекта Аллена; главный научный сотрудник и соучредитель SpiffyAI) : За один день множество проблем, над которыми работал большой процент исследователей, просто исчезли.
КРИСТОФЕР КАЛЛИСОН-БЕРЧ: Я этого не предвидел. Не думаю, что кто-то предвидел. Но я был к этому готов, потому что уже прошёл через это с GPT-3.
Р. ТОМАС МАККОЙ: Довольно часто бывает, что какой-то исследовательский проект обходит стороной или вытесняется кем-то подобным. Но ChatGPT делал это с целыми видами исследований, а не только с отдельными проектами. Многие высшие категории НЛП просто перестали быть интересными — или стали непрактичными — для учёных.
СЭМ БОУМЭН: Было такое ощущение, что поле полностью переориентировалось.
ИЗ БЕЛТАГИ: Я ощутил этот страх и смятение во время EMNLP [Эмпирические методы обработки естественного языка], одной из ведущих конференций. Это произошло в декабре, через неделю после выхода ChatGPT. Все были в шоке: «Неужели это последняя конференция по НЛП?» Это, на самом деле, дословная фраза, произнесенная кем-то. За обедами, коктейлями и разговорами в кулуарах все задавали один и тот же вопрос: «Над чем нам ещё работать?»
НАЗНИН РАДЖАНИ: Я только что выступила с докладом на конференции EMNLP. Через несколько дней Том Вулф, мой менеджер в Hugging Face и один из соучредителей, написал мне: «Привет, можешь как можно скорее со мной связаться?» Он сказал, что они уволили людей из исследовательской группы, а остальные будут проходить либо предварительную, либо посттренинговую подготовку. Это значит, что нужно либо создать базовую модель , либо взять её и превратить в модель, работающую по инструкции, похожую на ChatGPT. И он сказал: «Рекомендую вам выбрать одну из этих двух, если вы хотите продолжить работу в Hugging Face».
Мне казалось, что это не то, что символизирует культура «Обнимающего лица». До этого каждый, по сути, просто занимался собственными исследованиями, искал, что ему хотелось делать. Ощущение было определённо не очень приятным.
Резкие прозрения также происходили снизу вверх — в чем на собственном опыте убедилась одна выдающаяся эксперт НЛП, преподавая свой курс студентам бакалавриата через несколько недель после выпуска ChatGPT.
КРИСТИАНА ФЕЛЛБАУМ (преподаватель лингвистики и информатики, Принстонский университет) : Мы только что начали семестр. Прямо перед занятием ко мне подошла студентка, с которой я ещё не была знакома, показала работу, на которой были указаны моё имя и должность, и сказала: «Я очень хочу учиться у вас — я изучала ваши работы и нашла эту вашу работу, но у меня есть несколько вопросов. Не могли бы вы на них ответить?»
И я ответил: «Ну, конечно». Мне было приятно: он изучает меня, как мило. Я полистал статью. И пока я пытался освежить память, он разразился истерическим смехом. Я спросил: «Что смешного?» А он ответил: «Эту работу написала ChatGPT. Я сказал: „Напишите мне работу в стиле Кристианы Фелльбаум“, и вот что получилось».
Я не читал каждую строчку, потому что через 10 минут должен был начаться урок. Но всё выглядело так, как я и собирался написать. Он меня полностью обманул. Я зашёл в класс и подумал: «Что же мне теперь делать?»
В течение следующего года аспиранты тоже столкнулись с новой реальностью. ChatGPT угрожал их исследовательским проектам и, возможно, карьере. Некоторые справились лучше, чем другие.
КРИСТОФЕР КАЛЛИСОН-БЕРЧ: В подобных ситуациях полезно иметь постоянную должность. Но молодые люди переживали этот кризис гораздо острее. Некоторые аспиранты буквально создавали группы поддержки друг для друга.
ЛИАМ ДУГАН: Мы просто немного посочувствовали. Многим аспирантам, которые продвинулись дальше меня, которые только начали писать диссертации, пришлось круто изменить направление. Во многих из этих направлений исследований, кажется, не осталось ничего интеллектуального. Просто применяешь языковую модель, и всё готово.
Как ни странно, никто [из моих знакомых] не ушёл. Но было несколько случаев тихого ухода. Просто кто-то затягивал процесс или становился очень циничным.
РЭЙ МУНИ: Один из моих [аспирантов] подумывал бросить учёбу. Он считал, что, возможно, настоящая жизнь разворачивается в промышленности, а не в академической среде. И я подумал, знаете, может быть, они и не ошибались. Но я рад, что они решили остаться.
ДЖУЛИ КАЛЛИНИ: Когда я начала писать докторскую диссертацию в 2023 году, я чувствовала себя неопределённо. Я совершенно не была уверена, куда пойду, но все были в одной лодке. Думаю, я просто решила с этим справиться. Я старалась хорошо разбираться в основах машинного обучения. Специализироваться только на потенциально преходящих тенденциях в больших языковых моделях — не самое разумное решение.
Тем временем исследователи НЛП от Сиэтла до Южной Африки столкнулись с потоком мирового внимания, и не всегда оно было положительным.
ВУКОСИ МАРИВАТЕ (кафедра науки о данных ABSA UP, Университет Претории; соучредитель Масакхане) :
Не знаю, сколько занятий я провёл на магистратуре права в 2023 году. С одной стороны, годами пытаешься заговорить с людьми и сказать: «Здесь происходит что-то интересное». И вдруг — просто водопад из вопросов: «Приходите, объясните нам это».
СЭМ БОУМЭН: Из относительно сонной обстановки я внезапно оказываюсь на обеде с людьми, которые в том же месяце встречались с Папой Римским и президентом.
ЭМИЛИ М. БЕНДЕР: С января по июнь я насчитала пять рабочих дней без общения со СМИ. Это было беспрерывно.
ЭЛЛИ ПАВЛИК: До ChatGPT я, кажется, ни разу не разговаривала с журналистами. Может, раз или два. После ChatGPT я работала в программе «60 минут». Это было огромное качественное изменение в характере работы.
КРИСТОФЕР КАЛЛИСОН-БЕРЧ: Я чувствовал, что моя работа изменилась: из академической с узкой аудиторией аспирантов и других исследователей в моей области я превратился в человека, который отвечает за научную коммуникацию. Меня пригласили дать показания перед Конгрессом.
ЛИАМ ДУГАН: Когда я был аспирантом второго года обучения, меня внезапно стали спрашивать на собеседованиях. В тот момент это было очень круто, типа: «Я такой эксперт в этом!» Потом это стало менее захватывающим и более пугающим: «Как вы видите это в будущем?» Не знаю. Почему вы меня спрашиваете?
Конечно, я бы ответил уверенно. Но это же безумие: статей тысячи. У каждой своё мнение о происходящем. И большинство из них понятия не имеют, о чём говорят.
СЭМ БОУМЭН: Наступил настоящий расцвет интереса: внезапно множество действительно замечательных людей из самых разных областей обратили на это внимание. И всё это тонуло в шуме: все постоянно говорили об этом, было множество совершенно необдуманных, бессмысленных фраз. Это было здорово, но и печально.
НАЗНИН РАДЖАНИ: Тот год был похож на американские горки.
В декабре 2023 года, через год после выпуска ChatGPT, в Сингапуре вновь прошла ежегодная конференция EMNLP.
ЛИАМ ДУГАН: Температура была настолько высокой, а поток результатов [препринтов] ARXIV был настолько интенсивным. Можно было пройтись по коридорам: вплоть до самого низа, это были лишь подсказки и оценка языковых моделей.
И ощущения были совсем другими. По крайней мере, создавалось ощущение, что людей там было больше, чем хороших исследовательских идей. Это перестало быть похоже на НЛП и стало больше похоже на ИИ.
* * *
III. Мутатис Мутандис (2024–25)
Магистр права • Деньги • Становление ИИ
В области НЛП текст, созданный LLM, был на виду, и он говорил разным людям в этой области разное.
Р. ТОМАС МАККОЙ: Всякий раз, когда вы занимаетесь исследованием возможностей системы искусственного интеллекта, вам следует рассматривать системы, для которых у нас есть доступ к обучающим данным. Но это совсем не распространённый подход в этой области. В этом смысле мы стали скорее «магистрами права», чем учёными.
ЭЛЛИ ПАВЛИК: Я на 100% в этом виновата. Я часто говорю это во время выступлений: «Сейчас мы изучаем языковые модели». Я понимаю, насколько это кажется недальновидным. Но нужно видеть, где эта действительно долгосрочная исследовательская программа уместна. На мой взгляд, нет пути к пониманию языка, который не включал бы в себя вопрос «Чем занимаются магистры права?»
КАЛИКА БАЛИ: Каждый раз, когда происходил технологический прорыв, в основном исходивший с Запада, всегда возникали, если можно так выразиться, философские вопросы. В то время как в большинстве стран глобального Юга мы задавались вопросом: «Как нам заставить это работать на нас здесь и сейчас?»
Вот небольшой пример. В Индии первоначальная идея, которая пришла всем в голову [после выхода ChatGPT], заключалась в том, чтобы генеративные языковые модели работали на английском языке, а затем подключали систему перевода для вывода результата на любой нужный язык. Но системы машинного перевода работают буквально. Поэтому, если у вас есть математическая задача типа «Джон и Мэри должны поделить лаймовый пирог», и вы переводите её на хинди, могу поспорить, что большинство индийцев не знают, что такое лаймовый пирог. Как перевести это на язык, специфичный для конкретной культуры, если только сама модель не предназначена для понимания? Меня гораздо больше заинтересовало, как решить эту задачу.
ИЗ БЕЛТАГИ: В какой-то момент понимаешь, что для дальнейшего развития этой области необходимо строить эти огромные и дорогостоящие артефакты. Например, Большой адронный коллайдер — без чего-то подобного невозможно развивать экспериментальную физику.
Мне повезло работать в Ai2, где ресурсов обычно больше, чем в большинстве академических лабораторий. ChatGPT ясно дал понять, что между OpenAI и всеми остальными существует огромный разрыв. Поэтому сразу после этого мы начали думать о том, как можно создать всё это с нуля. И именно это и произошло.
В 2024 году OLMo от Ai2 представила полностью открытую альтернативу всё более переполненному рынку языковых моделей, разработанных в отрасли. Тем временем некоторые исследователи, продолжавшие изучать эти проприетарные системы, масштаб, возможности и непрозрачность которых в период бума ИИ после ChatGPT только росли, уже столкнулись с новым видом сопротивления.
ЙЕДЖИН ЧОЙ: У меня была статья [в конце 2023 года], демонстрирующая, как новейшие модели GPT, которые, казалось бы, хорошо справлялись с умножением, внезапно становятся очень плохими, когда речь идёт о трёх- или четырёхзначных числах. Реакция на неё была крайне противоречивой. Люди, которые вообще не занимаются эмпирическими исследованиями, спрашивали: «Вы правильно провели свои эксперименты?» Раньше такого никогда не случалось. Это были эмоциональные реакции. Мне очень нравятся эти люди, поэтому они меня не оттолкнули. Я просто был удивлён, насколько эта штука мощная. Как будто я причинил боль их ребёнку. Это было просто открытие.
Необоснованная шумиха не приносит пользы науке. Я чувствовал, что важно более тщательно изучить фундаментальные ограничения и возможности магистратуры права, и это стало моей основной исследовательской задачей в 2024 году. Я оказался в странной ситуации, когда я сам стал скептиком, критикующим, что модели не могут делать то-то и то-то. Что, на мой взгляд, важно, но я не хотел, чтобы это стало моим единственным занятием. Поэтому сейчас я много думаю о разных проблемах.
ТАЛ ЛИНЗЕН: Иногда возникает путаница, когда мы притворяемся, что ведем научную беседу, но некоторые из ее участников владеют долей в компании, которая потенциально стоит 50 миллиардов долларов.
Взрывной рост исследовательского импульса, денег и ажиотажа разрушил и без того зыбкие границы между НЛП и ИИ. Исследователи столкнулись с новым набором стимулов и возможностей — не только для себя, но и для самой области.
НАЗНИН РАДЖАНИ: Это открыло двери, которые иначе были бы недоступны. Я была одной из первых, кто получил данные для воспроизведения ChatGPT в открытом исходном коде — фактически, я написала для него книгу рецептов, что просто потрясающе. И это позволило мне получить хороший посевной раунд для моего стартапа.
Р. ТОМАС МАККОЙ: Любой преподаватель, работающий с ИИ, начинает восприниматься как специалист по ИИ — как будто его типирование навязывается. Я рад работать с ИИ, потому что это одно из самых важных дел, которые я могу делать, используя свои навыки. Но больше всего мне нравится глубоко погружаться в интересные аспекты грамматики и человеческого познания. Это можно связать с развитием ИИ, но этот путь довольно длинный.
ДЖУЛИ КАЛЛИНИ: Всё дело в семантике, верно? Лично я вижу себя работающей одновременно на стыке обработки естественного языка, компьютерной лингвистики и искусственного интеллекта. Я действительно считаю, что существуют разные сообщества для каждой области, но есть и множество людей, которые объединяют несколько направлений.
ДЖУЛИАН МАЙКЛ: Если НЛП не адаптируется, оно станет неактуальным. И я думаю, в какой-то степени это уже произошло. Мне сложно сказать. Сейчас я занимаюсь исследованиями в области выравнивания ИИ.
АННА РОДЖЕРС: Меня это не беспокоит. В основном потому, что я не думаю, что мы действительно решили проблему. Единственный повод расстраиваться — это если вы думаете: «Всё. С языком покончено». И я не думаю, что это правда.
КРИСТОФЕР ПОТТС: Это должен быть невероятный момент для лингвистики и НЛП. Ставки очень высоки. Возможно, это один из тех моментов, когда область науки просыпается и осознаёт своё невероятное влияние. Вы больше не можете притворяться тихой научной или инженерной областью, которая проводит исследования ради исследований, потому что теперь все деньги мира на вашей стороне, и каждая крупная корпорация пытается повлиять на вашу деятельность, а языковые модели внедряются повсюду.
Если вы достигли столь многого, вам придётся смириться с тем, что дебаты будут жаркими. А как иначе?
* * *
Эпилог: Являются ли большие языковые модели сменой парадигмы?
Неудивительно, что мнения расходятся.
ТАЛ ЛИНЗЕН: Если бы вы спросили меня пять, семь, десять лет назад, я бы никогда не подумал, что простое написание инструкции в языковой модели заставит её закончить предложение в соответствии с вашим запросом. Не думаю, что кто-то мог подумать, что это станет парадигмой сегодня. У нас есть единый интерфейс, который, по сути, позволяет нам делать всё.
АННА РОДЖЕРС: Как лингвист, я бы так не сказала. Ещё со времён встраивания слов [в 2013 году] вся идея заключалась в переносе знаний: вы изучаете что-то из большого объёма текстовых данных в надежде, что это поможет вам в чём-то другом. Менялись популярность, архитектура, общественное мнение, но не сам этот основополагающий принцип.
ДЖЕФФ МИТЧЕЛЛ: Мне кажется, что корпоративные интересы изменили правила игры.
ЭЛЛИ ПАВЛИК: Я думаю, что участие СМИ имеет значение. Учёные в моей области осознали, что успех может выглядеть как известность за пределами НЛП, и аудитория внезапно изменилась. Статьи на arxiv.org часто озаглавлены так, чтобы их читали журналисты или энтузиасты Кремниевой долины, а не профессора. Это колоссальное изменение.
ВУКОСИ МАРИВАТЕ: Я думаю, что в каком-то смысле барьер для входа как снизился, так и повысился. Снижение заключается в том, что мы всё ещё многого не понимаем в том, что на самом деле происходит в этих системах, поэтому приходится много работать, чтобы просто максимально их продвинуть. В этом случае вам не нужно знать архитектуру нейронной сети как свои пять пальцев.
В то же время барьер возрос, поскольку для того, чтобы экспериментировать с этими архитектурами и совершенствовать их, необходимо находиться в среде с очень высокими вычислительными ресурсами.
ЭМИЛИ М. БЕНДЕР: Я наблюдаю колоссальный сдвиг в сторону комплексных решений с использованием чат-ботов или подобных машин для генерации синтетического текста. И я считаю, что это тупик.
КРИСТИАНА ФЕЛЛБАУМ: Главный сдвиг, или, я бы даже сказала, шок, заключается в том, что эти большие языковые модели становятся настолько мощными, что нам приходится задаваться вопросом: «А какое место в них занимает человек?» Это сдвиг парадигмы: сдвиг в технологиях, в том, как эти модели обучаются и насколько хорошо они способны к обучению. И, конечно же, образовательные последствия, например, в моём классе. Именно из-за них я не могу спать по ночам.
Р. ТОМАС МАККОЙ: В лингвистике есть множество вопросов, которые исторически были в основном предметом философских дискуссий, а теперь вдруг стали поддающимися эмпирической проверке. Это, безусловно, стало серьёзным сдвигом парадигмы. Но с определённой точки зрения, десять лет назад эта область выглядела так: люди создавали набор данных, применяли к нему нейронную сеть и смотрели, что происходит. И эта версия этой области существует до сих пор, просто с гораздо большими наборами данных и гораздо более мощными нейронными сетями.
КРИСТОФЕР ПОТТС: Возможно, так всегда и бывает, но отличительной чертой смены парадигмы является то, что вопросы, которые мы раньше считали важными, теперь перестают задаваться. Похоже, это произошло за последние пять лет. Раньше я много внимания уделял классификации тональности, например: «Дайте мне предложение, и я скажу, выражает ли оно положительную или отрицательную эмоцию». Теперь вся эта область сосредоточена на генерации естественного языка — все те вопросы, которые мы раньше считали центральными, стали второстепенными по сравнению с этим.
Полагаю, это были наши последние слова. Возможно, в 2030 году мы оглянемся назад и подумаем, что это было ничто по сравнению с тем, что произошло в 2029 году.
Все разговоры были отредактированы для большей краткости и ясности.
Источник: www.quantamagazine.org
