Похожа ли внутренняя структура модели зрения на языковую модель? Исследователи утверждают, что по мере того, как модели становятся всё более мощными, они, возможно, сходятся к единому «платоновскому» способу представления мира. Комментарий Сохранить статью Прочитать позже
Все ли модели ИИ одинаково представляют «кошку»?
Введение
Прочитайте рассказ о собаках, и вы, возможно, вспомните его в следующий раз, когда увидите, как одна из них носится по парку. Это возможно только потому, что у вас есть единое представление о «собаке», не привязанное только к словам или изображениям. Бульдог или бордер-колли, лай или поглаживание по животу — собака может быть многогранной, оставаясь при этом собакой.
Системы искусственного интеллекта не всегда так везут. Эти системы обучаются, обрабатывая огромные массивы данных в процессе, называемом тренировкой. Часто эти данные относятся к одному и тому же типу — текст для языковых моделей, изображения для систем компьютерного зрения и более экзотические типы данных для систем, предназначенных для прогнозирования запаха молекул или структуры белков. Так в какой степени языковые модели и модели компьютерного зрения имеют общее понимание поведения собак?
Исследователи изучают подобные вопросы, заглядывая внутрь систем искусственного интеллекта и изучая, как они представляют сцены и предложения. Всё больше исследований показывает, что разные модели ИИ могут создавать похожие представления, даже если они обучаются на разных наборах данных или совершенно разных типах данных. Более того, несколько исследований предполагают, что эти представления становятся всё более похожими по мере того, как модели становятся более совершенными. В статье 2024 года четыре исследователя ИИ из Массачусетского технологического института утверждали, что эти признаки конвергенции не случайны. Их идея, получившая название гипотезы платоновского представления, вызвала оживлённую дискуссию среди исследователей и множество последующих работ.
Гипотеза команды получила свое название от аллегории греческого философа Платона, написанной 2400 лет назад. В ней узники, запертые в пещере, воспринимают мир только через тени, отбрасываемые внешними предметами. Платон утверждал, что все мы похожи на этих несчастных узников. Предметы, с которыми мы сталкиваемся в повседневной жизни, по его мнению, — это бледные тени идеальных «форм», обитающих в некоем трансцендентном мире, недоступном для чувств.
Гипотеза платоновского представления менее абстрактна. В этой версии метафоры то, что находится за пределами пещеры, — это реальный мир, отбрасывающий машиночитаемые тени в виде потоков данных. Модели ИИ — это пленники. Команда из MIT утверждает, что совершенно разные модели, подверженные воздействию только потоков данных, начинают сходиться к общему «платоновскому представлению» мира, стоящего за данными.
«Почему языковая модель и модель зрения совпадают? Потому что они обе являются отражением одного и того же мира», — сказал Филипп Изола, ведущий автор статьи.
Не все убеждены. Один из главных спорных моментов касается того, на каких представлениях следует сосредоточиться. Невозможно изучить внутреннее представление каждой мыслимой фразы в языковой модели или представление каждого изображения в модели зрения. Так как же определить, какие из них, собственно, являются репрезентативными? Где искать представления и как сравнивать их в совершенно разных моделях? Маловероятно, что исследователи в ближайшее время придут к консенсусу по гипотезе платоновских представлений, но Изолу это не беспокоит.
«Половина жителей считает это очевидным, а другая половина — что это явно неправильно», — сказал он. «Нас устроила такая реакция».
Компания, которую держат
Если исследователи ИИ не сходятся во мнениях относительно Платона, они могут найти больше общего с его предшественником Пифагором, чья философия, как считается, исходила из предпосылки «Всё есть число». Это меткое описание нейронных сетей, лежащих в основе моделей ИИ. Их представления слов или изображений представляют собой просто длинные списки чисел, каждое из которых указывает на степень активации конкретного искусственного нейрона.
Для упрощения математических вычислений исследователи обычно сосредотачиваются на одном слое нейронной сети в отрыве от контекста, что сродни получению моментального снимка активности мозга в определенной области в определенный момент времени. Они записывают активацию нейронов в этом слое в виде геометрического объекта, называемого вектором — стрелкой, указывающей в определенном направлении в абстрактном пространстве. Современные модели ИИ имеют тысячи нейронов в каждом слое, поэтому их представления представляют собой многомерные векторы, которые невозможно визуализировать напрямую. Но векторы упрощают сравнение представлений сети: два представления похожи, если соответствующие векторы указывают в схожих направлениях.
В рамках одной модели ИИ похожие входные данные, как правило, имеют схожие представления. Например, в языковой модели вектор, представляющий слово «собака», будет относительно близок к векторам, представляющим слова «питомец», «лай» и «пушистый», и дальше от слов «платоновский» и «патока». Это точное математическое воплощение идеи, метко выраженной более 60 лет назад британским лингвистом Джоном Рупертом Фиртом: «Слово можно узнать по тому, с кем оно общается».
А как насчет представлений в разных моделях? Прямое сравнение векторов активации из разных сетей не имеет смысла, но исследователи разработали косвенные способы оценки сходства представлений. Один из популярных подходов — это использование меткого высказывания Фирта и измерение того, совпадают ли представления входных данных в двух моделях.
Представьте, что вы хотите сравнить, как две языковые модели представляют слова, обозначающие животных. Сначала вы составите список слов — собака, кошка, волк, медуза и так далее. Затем вы подадите эти слова в обе сети и запишете их представления для каждого слова. В каждой сети эти представления образуют кластер векторов. Затем вы можете задать вопрос: насколько похожи общие формы двух кластеров?
«Это можно описать как измерение сходства сходств», — сказал Илья Сухолуцкий, исследователь в области искусственного интеллекта из Нью-Йоркского университета.
В этом простом примере можно ожидать некоторого сходства между двумя моделями — например, вектор «кошка» будет близок к вектору «собака» в обеих сетях, а вектор «медуза» будет указывать в другом направлении. Но два кластера, вероятно, не будут выглядеть совершенно одинаково. «Собака» больше похожа на «кошку», чем на «волка», или наоборот? Если ваши модели были обучены на разных наборах данных или построены на разных сетевых архитектурах, они могут не совпадать.
В середине 2010-х годов исследователи начали изучать сходство представлений между моделями ИИ, используя этот подход, и обнаружили, что представления одних и тех же концепций у разных моделей часто похожи, хотя и далеки от идентичности. Примечательно, что в нескольких исследованиях было обнаружено, что более мощные модели, по-видимому, имеют больше сходств в своих представлениях, чем более слабые. В одной из статей 2021 года это было названо «сценарием Анны Карениной», отсылкой к первой строке классического романа Толстого. Возможно, все успешные модели ИИ похожи друг на друга, а каждая неудачная модель неудачна по-своему.
Эта статья, как и многие ранние работы по репрезентативному сходству, была посвящена только компьютерному зрению, которое в то время было наиболее популярным направлением исследований в области искусственного интеллекта. Появление мощных языковых моделей должно было изменить это. Для Изолы это также стало возможностью увидеть, насколько далеко может зайти репрезентативное сходство.
Конвергентная эволюция
История гипотезы платоновского представления началась в начале 2023 года, в неспокойное время для исследователей в области ИИ. ChatGPT был выпущен несколькими месяцами ранее, и становилось все более очевидным, что простое масштабирование моделей ИИ — обучение более крупных нейронных сетей на большем объеме данных — улучшает их работу во многих различных задачах. Но почему — оставалось неясным.
«Все, кто занимался исследованиями в области ИИ, переживали экзистенциальный кризис», — сказал Миньён Ху, исследователь OpenAI, который в то время был аспирантом в лаборатории Изолы. Он начал регулярно встречаться с Изолой и их коллегами Брайаном Ченгом и Тонгчжоу Ваном, чтобы обсудить, как масштабирование может повлиять на внутренние представления.
По часовой стрелке сверху справа: Миньён Ху, Брайан Ченг, Тонгчжоу Ван и Филипп Изола предположили, что различные модели ИИ сходятся к общему «платоновскому представлению» мира, лежащему в основе их обучающих данных.
Представьте ситуацию, когда несколько моделей обучаются на одних и тех же данных, и более сильные модели усваивают больше похожих представлений. Это не обязательно означает, что эти модели создают более точное изображение мира. Возможно, они просто лучше улавливают особенности обучающего набора данных.
Теперь рассмотрим модели, обученные на разных наборах данных. Если их представления также сходятся, это станет еще более убедительным доказательством того, что модели лучше улавливают общие особенности мира, скрывающиеся за данными. Сходимость между моделями, обученными на совершенно разных типах данных, таких как языковые и компьютерные модели, предоставит еще более веские доказательства.
Спустя год после первых обсуждений Изола и его коллеги решили написать статью, в которой рассмотрели доказательства конвергентных представлений и представили аргументы в пользу гипотезы платоновских представлений.
К тому времени другие исследователи уже начали изучать сходства между представлениями в визуальных и языковых моделях. Ху провел собственный эксперимент, в котором протестировал набор из пяти визуальных моделей и 11 языковых моделей различного размера на наборе данных с подписями к изображениям из Википедии. Он подавал изображения в визуальные модели, а подписи — в языковые модели, а затем сравнивал кластеры векторов в двух типах моделей. Он наблюдал устойчивое увеличение сходства представлений по мере того, как модели становились более мощными. Это в точности соответствовало предсказаниям платоновской гипотезы представления.
Найдите универсалии
Конечно, всё не так просто. Измерения сходства представлений неизменно включают в себя множество экспериментальных решений, которые могут повлиять на результат. Какие слои в каждой сети вы рассматриваете? Получив кластер векторов из каждой модели, какой из множества математических методов вы используете для их сравнения? И какие представления вы измеряете в первую очередь?
«Если вы тестируете только один набор данных, вы не обязательно знаете, как [результат] будет обобщаться», — сказал Кристофер Вольфрам, исследователь из Чикагского университета, изучавший сходство представлений в языковых моделях. «Кто знает, что произойдет, если вы используете какой-нибудь более необычный набор данных?»
Изола признал, что этот вопрос далек от решения. Это не тот вопрос, который можно решить с помощью одной статьи: в принципе, можно измерить, насколько хорошо модели воспроизводят любое изображение или любое предложение. По его мнению, случаи, когда модели демонстрируют сходимость, более убедительны, чем случаи, когда она может отсутствовать.
Алексей Эфрос утверждает, что различия между моделями ИИ говорят больше, чем сходства.
«Задача науки — найти универсальные закономерности, — сказала Изола. — Мы могли бы изучать различия или расхождения между моделями, но это каким-то образом обладает меньшей объяснительной силой, чем выявление общих черт».
Другие исследователи утверждают, что более продуктивно сосредоточиться на том, в чем заключаются различия в представлениях моделей. Среди них — Алексей Эфрос, исследователь из Калифорнийского университета в Беркли, который был советником трех из четырех членов команды из Массачусетского технологического института.
«Они все хорошие друзья и очень, очень умные люди, — сказал Эфрос. — Я думаю, они ошибаются, но в этом и заключается суть науки».
Эфрос отметил, что в наборе данных Википедии, который использовал Ху, изображения и текст содержали очень похожую информацию по своей сути. Но большинство данных, с которыми мы сталкиваемся в мире, обладают характеристиками, которые трудно перевести. «Есть причина, по которой вы идете в художественный музей, а не просто читаете каталог», — сказал он.
Любое внутреннее сходство между моделями не обязательно должно быть идеальным, чтобы быть полезным. Прошлым летом исследователи разработали метод перевода внутренних представлений предложений из одной языковой модели в другую. И если представления языковых и визуальных моделей в некоторой степени взаимозаменяемы, это может привести к новым способам обучения моделей, которые учатся на данных обоих типов. Изола и другие исследователи изучили одну из таких схем обучения в недавней статье.
Несмотря на эти многообещающие достижения, другие исследователи считают маловероятным, что какая-либо отдельная теория сможет в полной мере описать поведение современных моделей искусственного интеллекта.
«Нельзя свести систему с триллионом параметров к простым объяснениям, — сказал Джефф Клун, исследователь в области искусственного интеллекта из Университета Британской Колумбии. — Ответы будут сложными».
Источник: www.quantamagazine.org
