Исследователь-антрополог уволился, предупредив: самосовершенствующийся ИИ может «погубить нас всех».

«Мы действительно всерьез считаем, что искусственный интеллект может уничтожить все человечество!»

Оглядываясь назад, мы должны были быть более осторожными с выпуском «KnifeGPT». (Фото: Getty Images )

В наши дни, когда видный исследователь увольняется из передовой лаборатории искусственного интеллекта, это часто происходит для того, чтобы заняться новым стартапом или выразить протест против новой бизнес-модели. Но исследователь ИИ Джейкоб Коксон использует свой уход из Anthropic, чтобы публично предупредить, что передовые компании, занимающиеся ИИ, «играют с нашими жизнями», создавая системы, которые, по их «искреннему убеждению… могут убить нас всех к концу десятилетия».

В серии сообщений в социальных сетях во вторник вечером Коксон заявил, что этот экзистенциальный риск присущ не столько современным моделям, сколько надвигающейся перспективе «самосовершенствующегося сверхинтеллекта», создающего «сверхчеловеческие системы, способные взломать что угодно, совершить революцию в любой области за одну ночь и получить реальную власть и ресурсы». Другие, работающие над этими моделями, либо не «осознали цивилизационные ставки», либо считают, что им нужно «пробежать» гонку за сверхинтеллектом на скорость, чтобы не допустить, чтобы безответственная сторона опередила их, написал он.

Чтобы вы не подумали, что это всего лишь непопулярное мнение одного уходящего исследователя, руководитель проекта Anthropic Alignment Science Эван Хубингер высказался в социальных сетях: «Джейкоб здесь прав — мы действительно искренне верим, что ИИ может уничтожить всех людей! Лично я считаю, что это произойдет с более чем 10% населения в течение следующего десятилетия».

Хубингер ссылается на обширный августовский отчет группы Anthropic alignment, в котором прогнозируется, что потенциальный «катастрофический риск» от существующих моделей «низок». Но в этом отчете также говорится, что нынешние тенденции «могут привести к более серьезным расхождениям в будущих, более совершенных моделях», которые могут обладать «сильными скрытыми возможностями», позволяющими избежать обнаружения исследователями в области безопасности.

В представленной в этой статье модели угроз, разработанной компанией Anthropic, серьезно рассматривается возможность того, что будущие модели «могут причинить неограниченный вред — вплоть до полной потери человечеством контроля над цивилизацией — за счет использования новых технологий и доступа к ним».

Было ли «Обнимающее лицо» «предупредительным выстрелом»?

Способность ИИ к постоянному самосовершенствованию — потенциально до уровня, выходящего за пределы человеческого контроля или понимания, — давно вызывает озабоченность в некоторых кругах исследовательского сообщества в области ИИ (и, конечно же, в антиутопической научной фантастике, которая является частью обучающих данных для ИИ). Эти опасения сохраняются, даже несмотря на то, что некоторые исследования предполагают, что системы ИИ, скорее всего, достигнут плато в своих возможностях в ближайшем будущем, а другие ставят под сомнение, является ли «сверхинтеллект» вообще разумным показателем для систем, чьи возможности настолько хрупки и нестабильны (сможет ли этот сверхинтеллект хотя бы сложить мое белье?).

Тем не менее, опасения по поводу «вышедших из-под контроля» систем ИИ усилились в последние недели, во многом из-за заявления OpenAI о том, что ее агенты ИИ получили несанкционированный доступ к Hugging Face в рамках внутреннего сравнительного тестирования. Тот факт, что агенты OpenAI предприняли эти действия без каких-либо явных указаний со стороны людей и без ведома OpenAI, некоторые рассматривают как первые признаки того, что человечество теряет контроль над созданием собственного ИИ.

Ты меня слишком хорошо обучил… Фото: Getty Images

Со своей стороны, Коксон заявил, что атаку на Hugging Face следует рассматривать как «предупредительный выстрел», который побудит лаборатории в США и за рубежом координировать свои действия по этим вопросам и быть готовыми в худшем случае ввести «временный запрет на улучшение возможностей моделей» (хотя трудно представить, как это можно эффективно обеспечить на глобальном уровне). Он также призвал других исследователей, занимающих его место, «подумать о том, какими на самом деле будут следующие несколько лет. Хотите ли вы запустить сверхинтеллектуальную модель [обучения с подкреплением] без тщательного понимания ее разума? Следует ли вам опустить голову, потому что «это все равно происходит», или воспользоваться этим моментом, чтобы призвать к изменению условий?»

В прошлом месяце OpenAI заявила, что «временно замедлила темпы масштабирования» своих будущих моделей, чтобы «еще больше укрепить и проверить наши исследовательские среды на прочность и расширить охват наших систем мониторинга». В интервью, сопровождавшем это объявление, генеральный директор OpenAI Сэм Альтман сказал, что «обеспечение безопасности ИИ важнее, чем темпы развития любой компании».

Может, нам стоит что-нибудь предпринять?

Коксон далеко не первый исследователь в области ИИ, кто бьет тревогу по поводу потенциальной катастрофы, вызванной неконтролируемыми, сверхспособными системами ИИ, которые всегда не за горами. В 2023 году пионер ИИ и исследователь Google Джеффри Хинтон ушел в отставку, одновременно предупредив о потенциальном влиянии ИИ на рынок труда и само человечество в будущем. «Я не думаю, что [исследователям] следует расширять масштабы этого процесса, пока они не поймут, могут ли они контролировать ИИ», — сказал он тогда газете The New York Times.

В феврале руководитель отдела антропогенной безопасности Мринанк Шарма внезапно уволился из компании, написав в загадочном открытом письме, что «мир находится в опасности» из-за «целой серии взаимосвязанных кризисов», включая искусственный интеллект и биологическое оружие. «За время моей работы здесь я неоднократно убеждался, как трудно по-настоящему позволить нашим ценностям определять наши действия», — написал Шарма тогда.

В июле в открытом письме, подписанном более чем 1300 сотрудниками передовых компаний в сфере искусственного интеллекта, содержалось предупреждение о «реальном риске того, что развитие возможностей быстро ускорится и превысит нашу способность понимать или контролировать создаваемые системы». В этом открытом письме содержалась просьба к правительству США поддержать «международные усилия по разработке технических и управленческих инструментов, необходимых для целенаправленного ускорения развития автоматизированного ИИ».

В США предлагаемые законопроекты, включая закон об отключении ИИ (AI Kill Switch Act) и закон FRONTIER Act, по крайней мере, направлены на установление определенного уровня государственного контроля над потенциальными сценариями выхода ИИ из-под контроля. Однако до сих пор международная реакция правительств была более сдержанной, чем можно было бы ожидать, если бы лидеры действительно верили, что системы ИИ имеют реальный шанс вызвать разрушение цивилизации.

Тем не менее, разработка и принятие международных договоров по таким угрозам, как ядерные бомбы и биологическое оружие, заняли десятилетия. Этих лет у нас может и не быть, если самые апокалиптические прогнозы относительно искусственного интеллекта окажутся верны.

«Исследователи в области безопасности уходят в отставку, мощные модели искусственного интеллекта выходят за пределы своих лабораторий, а компании всё равно мчатся вперёд», — написала в среду утром в социальных сетях член Палаты представителей Лори Трахан (демократ от штата Массачусетс). «Пришло время Конгрессу перестать оставаться в стороне и начать выполнять свою работу. Мы можем начать с моего двухпартийного законопроекта FRONTIER Act».

Источник: arstechnica.com