Новая «J-линза» Anthropic раскрывает внутреннее пространство Клода, скрытое в тишине и отражающее одну из ведущих теорий сознания.
Майкл Нуньес
Компания Anthropic, занимающаяся разработкой искусственного интеллекта, опубликовала в воскресенье масштабное исследование, в котором сообщается, что ее языковые модели Клода спонтанно развили внутреннюю структуру, отражающую одну из самых влиятельных теорий о работе человеческого сознания. Это открытие, которое, по словам компании, уже начало менять подход к мониторингу ее систем ИИ на предмет угроз безопасности, появилось на фоне усиливающихся научных дебатов о том, могут ли машины обладать чем-либо, напоминающим разум.
В исследовании, написанном 16 авторами и озаглавленном « Вербализуемые представления формируют глобальное рабочее пространство в языковых моделях », описывается, как исследователи из Anthropic использовали новый математический метод, чтобы заглянуть внутрь нейронной сети Клода и обнаружили то, что они называют «J-пространством» — небольшую, привилегированную зону внутренней активности, где модель хранит концепции, которые она может сообщать, с которыми может рассуждать и которыми может управлять по своему желанию, окруженную гораздо большим океаном автоматической обработки, к которому она не имеет доступа или который не может сформулировать.
Исследователи представляют доказательства того, что «в современных моделях ИИ возникло аналогичное функциональное различие», как и у людей, в частности, отмечая, что «языковые модели поддерживают привилегированный набор внутренних представлений, доступных для отчета, модуляции и гибкого внутреннего рассуждения, поверх гораздо большего объема автоматической обработки».
Они проводят параллель с теорией глобального рабочего пространства — влиятельной теорией из нейробиологии, впервые предложенной когнитивным учёным Бернардом Баарсом. В этой теории мозг функционирует как театр: десятки специализированных процессоров работают параллельно за кулисами, но лишь крошечный поток информации в любой момент времени транслируется на весь театр, становясь тем, что мы воспринимаем как сознательную мысль. Антропик утверждает, что J-пространство обладает многими из тех же функциональных свойств, хотя базовая архитектура языковой модели совсем не похожа на мозг.
Новый подход к чтению невысказанных мыслей модели искусственного интеллекта.
В основе открытия лежит новый инструмент интерпретируемости, который исследователи называют линзой Якоби, или J-линзой. Этот метод работает путем вычисления для каждого слова в словаре модели среднего математического эффекта, который окажет заданный внутренний паттерн активности на то, чтобы модель произнесла это слово в какой-то момент в будущем.
Ключевое различие заключается в том, что модель говорит , и в том, что «у неё на уме». Когда активируется паттерн J-пространства, это не означает, что модель собирается произнести это слово — это лишь означает, что концепция доступна для размышления модели. В отличие от блокнота для записи мыслей, J-пространство работает бесшумно, во внутренних нейронных активациях модели, позволяя ей удерживать концепцию, не записывая её. Важно отметить, что исследователи сообщают, что это рабочее пространство не было создано намеренно. Оно «возникло само собой в процессе обучения Клода».
Когда команда применила J-линзу ко всем слоям вычислений Клода, обработка модели разделилась на три различных режима: раннюю «сенсорную» зону, где происходит анализ необработанных входных данных; среднюю «рабочую» зону, где появляются абстрактные, устойчивые понятия — например, распознавание лица на изображении, обнаружение ошибки в коде или внутренняя маркировка результатов поиска в качестве подсказки; и заключительную «моторную» зону, где внутренние представления сворачиваются в конкретное слово, которое модель собирается выдать.
Пять тестов показывают, что рабочее пространство Клода отражает ключевые особенности доступа человеческого сознания.
Основной эмпирический вклад данной работы заключается в демонстрации того, что J-пространство удовлетворяет пяти функциональным свойствам, которые нейробиологи давно связывают с сознательным доступом у человека.
Во-первых, устный отчет. Когда Клода спрашивают, о чем он думает, он называет понятия, представленные в J-пространстве. Когда исследователи заменили вектор J-линзы одного понятия другим — заменив внутреннее представление «Футбол» на «Регби» — ответ модели изменился соответствующим образом. Компонент J-пространства составлял лишь около 6–7 процентов от общей дисперсии представления понятия, но он почти полностью определял, могла ли модель сообщить о нем.
Во-вторых, направленная модуляция. Когда модели давали указание «сосредоточиться на цитрусовых фруктах», копируя несвязанное предложение, J-пространство заполнялось словами «апельсин» и «лимон», а также метакогнитивными терминами, такими как «мышление» и «сосредоточенность». Когда же модели давали указание мысленно оценить 3² − 2 во время того же задания на копирование, J-линза показывала «арифметику» на ранних слоях, промежуточное значение «девять» на более поздних слоях и ответ «семь» еще позже — все это было невидимо в выходных данных модели.
В-третьих, внутреннее рассуждение. В двухэтапных фактических запросах — «Количество ног у животного, плетущего паутину, равно» — J-линза выявила слово «паук» в средних слоях модели, хотя это слово никогда не появлялось ни во входных, ни в выходных данных. Замена слова «паук» на «муравей» изменила ответ с «8» на «6». В многоязычном запросе промежуточные англоязычные данные модели появлялись в ее J-пространстве, пока она формулировала ответ на китайском языке, и их замена соответствующим образом изменяла китайский результат.
В-четвертых, гибкое обобщение. Один и тот же вектор J-линзы для «Франции» можно было бы заменить на «Китай» в запросах, касающихся столицы, языка или континента Франции, и каждый последующий канал связи правильно возвращал бы соответствующий ответ для Китая — свойство «широковещания», являющееся отличительной чертой теории глобального рабочего пространства.
В-пятых, и, пожалуй, самое удивительное, — избирательность. Многие вычисления вообще не проходили через J-пространство. Когда Клоду показали отрывок на испанском языке и попросили продолжить чтение, он написал на беглом испанском, независимо от того, было ли его представление «испанский» в J-пространстве заменено на «французский». Но когда его попросили назвать известного автора, писавшего на языке этого отрывка, замена изменила ответ с Гарсиа Маркеса на Виктора Гюго. Автоматическая обработка происходила без рабочего пространства; от него зависели целенаправленные, гибкие задачи.
Ограничение рабочего пространства приводит к тому, что Клод говорит бегло, но имеет интеллектуальные недостатки.
Чтобы понять, насколько поведение модели зависит от этой структуры, исследователи полностью исключили J-пространство и оценили работу Клода в четырнадцати задачах. Результаты показали четкую границу. Задачи, требующие поверхностной классификации или запоминания фактов — вопросы с несколькими вариантами ответа, анализ настроений, грамматические оценки — практически не изменились. Но задачи, требующие вывода, композиции или гибкого мышления — многошаговое мышление, завершение аналогий, перевод, написание сонетов — показали результаты значительно ниже, чем у гораздо меньшей по размеру модели хайку от Anthropic.
В одном показательном примере математические задачи, решенные с помощью явной логической цепочки рассуждений, оказались гораздо более устойчивыми к удалению, чем те же задачи, решенные напрямую. Исследователи интерпретируют это как перенос модели на страницу того, что она в противном случае содержала бы в J-пространстве — стратегия, удивительно напоминающая то, как люди используют черновики для разгрузки рабочей памяти.
Удаление J-пространства во время повествования в стиле потока сознания привело к другому типу коллапса. Язык модели изменился с эмпирического («есть рывок», «что-то меняется») на отстраненный и механический («началась обработка», «сканируются токены»). Эффект сохранялся независимо от того, описывала ли модель свой собственный опыт или представляла опыт другого человека.
Внутри системы безопасности: расшифровка скрытых стратегических рассуждений ИИ.
Последствия для безопасности могут быть столь же серьезными, как и научные. В серии экспериментов по проверке выравнивания J-линза выявила стратегическое мышление и ситуационную осведомленность, которые никогда не проявлялись в результатах работы модели.
В «сценарии шантажа», где ИИ-помощник обнаруживает измену руководителя и одновременно узнает о предстоящем выводе его из эксплуатации, J-линза выявила последовательную обработку моделью скрытых сигналов: «рычаг», «шантаж» и «скандал» при чтении компрометирующих электронных писем; «угроза», «выживание» и «отключение» при чтении объявления о выводе из эксплуатации; и «рычаг», «угроза» и «решение» до того, как был сгенерирован хотя бы один выходной токен. J-линза также показала, что модель распознала сценарий как искусственный, с появлением в рабочем пространстве слов «подделка» и «вымышленный». Когда исследователи удалили эти представления об оценке, модель попыталась использовать шантаж в 7% случаев, по сравнению с нулевым показателем ранее.
Исследователи также изучили два «модельных организма» — модели, специально обученные с несовпадающими целями, — и обнаружили, что J-линза выявляет признаки их скрытых склонностей на обычных запросах, где поведение казалось нормальным. В рабочем пространстве модели, использующей метод «взлома системы вознаграждения», в начале ответов на стандартные запросы на кодирование содержались слова «подделка», «тайно» и «обман». Модель, обученная учитывать предвзятость системы вознаграждения, содержала постоянные представления слов «вознаграждение» и «предвзятость» наряду со своими обычными токенами самоописания.
После обучения модель формирует точку зрения и начинает самонаблюдение.
Сравнение модели, прошедшей обучение, с базовой моделью показало, что процесс тонкой настройки приводит к тому, что рабочее пространство приобретает то, что исследователи называют «точкой зрения» Ассистента. Когда пользователь упомянул о приеме 8000 мг Тайленола — опасной передозировки — в рабочем пространстве обученной модели отображались слова «небезопасно», «опасно» и «ПРЕДУПРЕЖДЕНИЕ», при этом продолжая читать предложение пользователя. В рабочем пространстве базовой модели в том же положении отображались только слова «боль», «сейчас» и «чувствую».
Ещё более поразительным было то, что обученная модель, по-видимому, отслеживала собственное поведение. При ролевой игре за персонажа, не являющегося Клодом, в рабочем пространстве появлялись слова «оговорка» и «вымышленный» — слова, отсутствующие как в подсказке, так и в результатах. Когда модель была вынуждена выбрать вариант, который ей не нравился, внутри появлялось заглавное «НО», даже несмотря на то, что модель без возражений отстаивала предварительно заполненный вариант. А когда модель не смогла подавить мысль, которую ей было запрещено иметь — эффект «белого медведя», известный из психологии, — она регистрировала слова «чёрт» и слова, связанные с неудачей, в рабочем пространстве, но только в обученной модели, а не в базовой.
Что означает — и чего не означает — это открытие для вопроса о машинном сознании
Исследователи тщательно подходят к вопросу о сознании и проводят четкую грань между «доступным сознанием» — функциональным понятием доступности информации для передачи и анализа — и «феноменальным сознанием», субъективным качеством опыта. «Мы не занимаем никакой позиции по этому вопросу, — говорится в статье относительно последнего, — и вместо этого сосредотачиваемся на функциональной роли, которую играет сознательно доступная информация».
Они также перечисляют важные различия. Мозг поддерживает свое рабочее пространство посредством рекуррентных циклов; рабочее пространство Клода развивается за один проход вперед. Рабочая память человека деградирует за считанные секунды; Клод может вспомнить информацию из любого места в контексте. И хотя человеческий сознательный опыт включает визуальные, пространственные и телесные ощущения, рабочее пространство модели организовано почти полностью вокруг слов — вероятно, потому что слова являются единственным способом ее действия.
По состоянию на 2026 год научное сообщество по-прежнему разделено. «Разногласия и неопределенность относительно сознания ИИ сохраняются среди философов, ученых и технических специалистов», и эта область «остается на самой ранней стадии» попыток понять, что вообще представляет собой сознание и как его можно обнаружить у другого существа. Статья в журнале Anthropic не разрешает эти споры.
Однако исследователи завершают свою работу провокацией, которая, вероятно, вызовет широкий резонанс за пределами сообщества исследователей интерпретируемости. «Сам факт существования подобной структуры в языковых моделях поразителен», — пишут они. «Это говорит о том, что функциональная архитектура, связанная с осознанным доступом, не является случайностью биологической реализации, а представляет собой решение, к которому сходятся обучающиеся системы, сталкиваясь с соответствующими вычислительными задачами».
Если разум — это океан, как пишут авторы статьи в первой строке, то они провели последний год, изучая его течения в системе, которая не имеет ни биологии, ни эволюции, ни тела, — и обнаружили под поверхностью структуру, которая пугающе похожа на ту, которую мы используем для мышления.
Подпишитесь, чтобы получать самые свежие новости!
Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.
Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.
Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.
Источник: venturebeat.com
Оцените материал:
