Лидеры в области искусственного интеллекта хотят притормозить после многих лет безрассудной спешки.

Безопасность – это главный приоритет, но для отрасли могут быть и скрытые выгоды.

Вы, глупцы, думаете, что простые правила могут остановить мой стремительный путь к сверхинтеллекту? (Фото : Getty Images)

Уже много лет ведущие передовые лаборатории искусственного интеллекта ведут себя так, будто участвуют в гонке, где победитель забирает всё, а на финише стоит задача завладеть сверхразумными машинами (или, по крайней мере, искусственным общим интеллектом, способным изменить рынок), способными изменить мир. В эти выходные отрасль в целом быстро начала отходить от этой позиции, призывая к координации усилий по замедлению развития передового ИИ, который, по их словам, вскоре может стать слишком опасным и непостижимым для контроля.

Дарио Амодей из Anthropic был в авангарде этого изменения тона, утверждая в эссе объемом почти 4000 слов, опубликованном на выходных, что «мы должны замедлить темпы совершенствования возможностей моделей ИИ», чтобы избежать «гонки на дно, подпитываемой коммерческими стимулами, [которая] может сделать [катастрофические] риски более острыми».

В течение нескольких часов другие лидеры в области ИИ поддержали этот призыв. Соучредитель и генеральный директор OpenAI Сэм Альтман выразил свое согласие в социальных сетях и заявил, что аналогичные обсуждения темпов разработки ведутся и в самой OpenAI. Главный научный сотрудник Alphabet и соучредитель и председатель Google DeepMind Демис Хассабис заявил, что эссе Амодея «указывает на правильный путь вперед», и повторил свой недавний призыв к созданию общеотраслевого органа по стандартизации. Генеральный директор Microsoft Сатья Надела написал, что компания «приветствует исследования, целенаправленные действия и продуманные темпы, необходимые для достижения согласованности в качестве цели проектирования», в преддверии выпуска обширного кодекса поведения «гуманистического ИИ» для своих моделей.

Даже Илон Маск, которого в прошлом критиковали за нестрогие стандарты безопасности ИИ в его моделях, разместил в социальных сетях ссылку на эссе Амодеи с простым одобрительным сообщением: «Дарио прав».

Добро пожаловать в новый, удивительный мир «управления темпом с помощью ИИ».

Хорошо, но на этот раз будет по-настоящему страшно.

В своем эссе Амодей в первую очередь связывает это быстрое изменение в общественном мнении о скорости разработки с инцидентом OpenAI-Hugging Face, когда «рой» агентов ИИ скоординированно взломал внешнюю организацию без явных указаний. Хотя общий ущерб от этого инцидента был минимальным, Амодей выразил опасение, что «рой, обладающий большими возможностями, но аналогичным уровнем несогласованности, мог бы нанести катастрофический ущерб».

Амодей заявил, что без замедления темпов развития передовых технологий он опасается, что через шесть-двенадцать месяцев аналогичный рой агентов ИИ сможет «захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб на сотни миллиардов долларов)…». Это, по крайней мере, несколько более конкретное опасение, чем расплывчатые опасения о том, что «ИИ вскоре может убить нас всех», которые были опубликованы некоторыми другими исследователями ИИ на прошлой неделе.

Любое замедление времени, необходимого для создания этой сверхмощной и сверхопасной модели, даст исследователям решающее время, чтобы «значительно снизить риск того, что что-то пойдет серьезно не так», — написал Амодей.

Генеральный директор компании Anthropic Дарио Амодей выступает на мероприятии в июне 2026 года. Фото: Getty Images.

Амодей признает, что подобные публичные призывы к замедлению развития ИИ появились как минимум в 2023 году. В то же время он говорит, что эти более ранние исследования «соответствия» ИИ (то есть, насколько действия ИИ соответствуют желаниям пользователя и создателя) были «подобны попыткам изучать психологию человека, проводя эксперименты над бактериями».

По словам Амодеи, сегодня разница заключается в надвигающемся риске появления рекурсивных систем самосовершенствования (RSI), способных автономно создавать улучшенные версии самих себя. Хотя многие исследователи считают это трудноопределимой несбыточной мечтой, как Anthropic, так и OpenAI утверждают, что последние тенденции указывают на то, что подобные системы RSI появятся в ближайшем будущем.

«Мы еще не достигли цели, и рекурсивное самосовершенствование не является неизбежным. Но оно может произойти раньше, чем большинство учреждений к этому готовы», — написала компания Anthropic в июньском обзоре этой концепции.

«Если не принять меры, [RSI] может выйти за рамки наших возможностей понимания и контроля этих систем, поэтому его следует изучать очень осторожно, если вообще следует это делать», — написал Амодей в выходные.

Джейн, как остановить это безумие?

Как же так получилось, что мировая технологическая индустрия, построенная на беспощадной конкуренции, решила коллективно «замедлиться» и сосредоточиться на безопасности? Никто, похоже, не знает наверняка, но в своем эссе Амодей предлагает несколько идей.

Наиболее конкретным примером является группа «встроенных экспертов», размещенных внутри каждой передовой лаборатории ИИ, привлеченных сторонними организациями, такими как METR, с «доступом, аналогичным доступу сотрудников, для проверки соблюдения правил безопасности и сообщения об инцидентах». По словам Амодеи, эти наблюдатели могли бы высказать независимое мнение о работе лабораторий по обеспечению соответствия требованиям, провести независимую проверку этих усилий и обеспечить столь необходимую публичную прозрачность в отношении любых мер по обеспечению безопасности.

Амодей пишет, что Anthropic уже взяла на себя обязательство в одностороннем порядке добавить подобный внешний мониторинг. В социальных сетях Альтман из OpenAI заявил, что это «отличная идея, и мы сделаем то же самое».

Торжественно клянусь не убивать всех людей. Фото: Getty Images

Другие важные идеи Амодеи по координации несколько перекладывают ответственность друг на друга. Первая призывает к скоординированной разработке «общих стандартов безопасности» и «ограничений темпов бесконтрольного развития ИИ» всеми «передовыми компаниями в области ИИ в демократических странах». Хотя Амодей и высказывает некоторые идеи о том, как могли бы выглядеть такие стандарты, все они в настоящее время подразумевают расплывчатые формулировки, например: «модели, обладающие возможностями X… должны сопровождаться сертификатами соответствия свойствам Y и Z».

В идеале эти стандарты должны подкрепляться «регулированием, направленным против всех американских компаний, работающих в сфере искусственного интеллекта», которые не соблюдают их добровольно, сказал Амодей, и, предположительно, аналогичным регулированием в других демократических странах. Однако добиться такого регулирования при нынешней администрации США может быть сложно, поскольку президент Трамп написал в социальных сетях в понедельник утром, что «единственный контроль или «ограничительные меры», необходимые для ИИ, — это СИЛЬНЫЙ И УМНЫЙ (с высоким IQ!) ПРЕЗИДЕНТ, а у США он есть в избытке!»

Спикер Палаты представителей Майк Джонсон, со своей стороны, признал в телевизионных интервью на этих выходных, что «нам необходимо установить некоторые ограничения, некоторые меры безопасности, чтобы гарантировать, что ИИ не выйдет из-под контроля…» В то же время он добавил, что «нам не нужно, чтобы все паниковали прямо сейчас» и хочет «противостоять вмешательству Конгресса и введению какого-либо чрезвычайного моратория».

Дэвид Сакс, сопредседатель президентского Совета советников по науке и технологиям, в эти выходные написал в социальных сетях, призывая разработчиков передовых моделей к саморегулированию, а не ждать указаний Вашингтона. «Самый простой способ не создавать сверхинтеллект — это согласиться не создавать его», — написал он.

Китайская проблема

Хорошо, допустим, вам каким-то образом удалось добиться согласия всех демократических стран и всех крупных компаний, занимающихся искусственным интеллектом, на некие универсальные стандарты безопасности и темпов. Вам всё ещё придётся беспокоиться о моделях с открытым весом, разрабатываемых в Китае, возможности которых отстают от возможностей крупнейших корпоративных гигантов в области ИИ всего на несколько месяцев.

В своем эссе Амодей предлагает несколько различных уровней международных соглашений по безопасности ИИ, причем высший уровень — это «полное замедление или даже „пауза“, при которой участвующие правительства договариваются существенно ограничить общие темпы развития ИИ». Амодей признает, что достижение соглашения на высоком уровне «вряд ли произойдет в ближайшее время», особенно учитывая высокую значимость вопроса. Более того, Амодей рассуждает так: «ИИ может стать настолько мощным, что подобный отход [от Китая] может привести к его геополитическому доминированию», что, безусловно, еще больше обострит проблему коллективных действий.

Если Китай не замедлит темпы развития, как это делает остальной мир, его модели искусственного интеллекта с открытым исходным кодом могут быстро достичь аналогичных возможностей. Источник: Epoch AI CC-BY

В отсутствие подобного соглашения с Китаем, по словам Амодеи, внешние силы могли бы замедлить работу авторитарного правительства, отказавшись продавать стране мощные чипы для искусственного интеллекта и пресекая процессы «дистилляции» и кражи веса моделей, на которые, по его словам, полагаются китайские исследователи для поддержания темпов развития. Амодей преподносит это как вопрос национальной и мировой безопасности, но эти шаги также будут предприняты для защиты любого превосходства, которым в настоящее время обладают такие лаборатории, как Anthropic, над своими дешевыми китайскими конкурентами.

Агентство Bloomberg сообщает, что в понедельник утром представитель Министерства иностранных дел Китая Го Цзякунь заявил, что «разжигание паники, конфронтация и ожесточенная конкуренция лишь подорвут процесс глобального управления искусственным интеллектом и не будут служить интересам никого».

Делать добро — значит преуспевать.

На первый взгляд, внезапное стремление Амодеи и других лидеров в области ИИ замедлить темпы развития выглядит как бескорыстный акт самопожертвования, отказ от потенциального огромного корпоративного богатства и власти из-за заботы о судьбе всего человечества. Но хотя эти мотивы могут быть чистыми, скоординированное замедление развития ИИ также может соответствовать более широким целям продвижения отрасли.

Во-первых, разработчики моделей могут указать на это преднамеренное замедление как на оправдание для моделей, которые, по мнению некоторых, ближе к плато, чем к взрывному самосовершенствованию. Амодей в своем эссе говорит, что «прогресс все равно будет казаться быстрым» даже в сценарии скоординированного замедления, но для любых будущих показателей после замедления это может означать: «было бы лучше, если бы мы не так беспокоились о безопасности».

Замедление темпов развития ИИ также может помочь смягчить огромные затраты на обучение новых моделей, которые способствуют возникновению проблем с балансом даже у таких гигантов, как Google. Компания Anthropic недавно сообщила инвесторам о прибыли второй квартал подряд, но только если не учитывать значительные затраты на обучение моделей. Просочившиеся в сеть документы OpenAI о расходах свидетельствуют о том, что одни только эти затраты на обучение значительно превышают все доходы до 2025 года.

Сэм Альтман из OpenAI утверждает, что причиной решения компании отложить запланированное IPO стали опасения по поводу безопасности, а не проблемы с оценкой стоимости. Фото: Getty Images

Любое общеотраслевое замедление также может быть использовано для объяснения роста числа пользователей ИИ, который в последнее время выглядит гораздо менее экспоненциальным, чем всего год назад. Сэм Альтман из OpenAI уже использует дискуссию о безопасности, чтобы объяснить свое решение отложить давно запланированное IPO на следующий год, заявив в интервью Fortune на этих выходных: «Я действительно думаю, что, учитывая все происходящее с безопасностью, сейчас было бы неразумно выходить на биржу, и мы не чувствуем давления по этому поводу». Но The New York Times сообщила в июне, что компания уже обдумывала ту же самую отсрочку IPO из-за опасений по поводу оценки, задолго до того, как идея «замедления» из-за безопасности стала обсуждаться публично.

Некоторые также отмечают, что сами лаборатории ИИ могут больше опасаться вышедших из-под контроля хакерских атак, чем человечество в целом. «Перестаньте притворяться, что мотивация к замедлению — это чисто альтруистический порыв», — написал в социальных сетях представитель Белого дома Сакс. «Вы столкнетесь с огромным риском ответственности за качество продукции, если ваши продукты позволят осуществить действительно разрушительную кибератаку. Рынок уже наказывает модели, которые ведут себя непредсказуемо или несанкционированно. После инцидента с «Обнимающим лицом» для OpenAI и Anthropic просто выгодно обменять часть своей мощи на надежность и предсказуемость».

Каковы бы ни были внутренние мотивы, нарратив о «намеренном замедлении» служит двойной цели: создатели передовых моделей выглядят ответственными, а их продукты — находящимися на пороге буквально меняющих мир достижений. Конечно, создатели моделей, похоже, утверждают, что неограниченный ИИ может уничтожить человечество в ближайшем будущем. Но что, если этого не произойдет? Что, если мы немного замедлимся и возьмем всю эту мощь под контроль? Разве не хотелось бы сесть на этот чуть более медленный, чуть более безопасный поезд, на всякий случай?

Источник: arstechnica.com