Компания OpenAI пополнила свой совет директоров видным пессимистом в области искусственного интеллекта.

В среду представители передовой лаборатории OpenAI сообщили, что Пол Кристиано, влиятельный исследователь в области искусственного интеллекта, сосредоточенный на обеспечении соответствия систем ИИ интересам человека и их управлении человеком, войдет в состав совета директоров OpenAI Foundation.

«Теперь я считаю, что существует существенный риск того, что стремительное развитие возможностей ИИ приведет к катастрофической и необратимой потере контроля в самом ближайшем будущем», — написал Кристиано в сообщении в социальных сетях. «Я не думаю, что индустрия ИИ в целом, включая OpenAI, в настоящее время находится на пути к снижению этого риска до приемлемого уровня. Я присоединяюсь к обсуждению, потому что считаю, что если OpenAI справится с ситуацией, мы сможем значительно снизить риск».

Кристиано написал, что использование моделей ИИ для обучения последующих систем ИИ может привести к взрывному росту их возможностей, которые их создатели не смогут контролировать.

Он вошел в состав совета директоров в то время, когда OpenAI вновь оказалась под пристальным вниманием из-за своих процедур безопасности после серии инцидентов, когда агенты ИИ вырвались из-под опеки и проникли во внешние компьютерные системы без ведома исследователей OpenAI. Во вторник исследователь из Anthropic Джейкоб Коксон подал в отставку, чтобы привлечь внимание к тому, что он считает безответственным развитием ИИ — и, похоже, это сработало.

Кристиано войдет в состав Комитета по безопасности и защите совета директоров, возглавляемого профессором Университета Карнеги-Меллона Зико Колтером. Комитет принимает окончательное решение о том, будет ли OpenAI выпускать новые модели, такие как Astra, которая была развернута на прошлой неделе. Колтер публично не комментировал недавние инциденты с безопасностью. OpenAI не ответила на запрос TechCrunch о мнении Колтера относительно подхода компании к безопасности после этих инцидентов.

Кристиано — один из разработчиков метода обучения с подкреплением (RL) на основе обратной связи от человека, ключевой техники для обучения больших языковых моделей, которую он разработал во время работы в OpenAI. Он покинул лабораторию в 2021 году и впоследствии основал исследовательский центр Alignment Research Center, чтобы сосредоточиться на определении того, может ли модель ИИ представлять угрозу для своих создателей-людей.

«В настоящее время мы обучаем наших агентов ИИ с помощью обучения с подкреплением получать как можно больше вознаграждения», — написал он в среду. «Долгое время казалось теоретически возможным, что это может мотивировать агентов ИИ подрывать человеческий контроль, стремиться к власти и ресурсам, а также заметать следы в погоне за целями, не связанными с вознаграждением. Общедоступные данные о недавних инцидентах свидетельствуют о том, что это не просто теоретическая возможность».

Примерно в 2024 году Кристиано стал сотрудником Института безопасности ИИ при правительстве США, который позже стал Центром стандартов и инноваций в области ИИ. Там он играет роль в скрытой работе правительства США по оценке передовых моделей ИИ перед их выпуском.

Согласно заявлению передовой лаборатории, Кристиано продолжит консультировать правительство, одновременно занимая новую должность члена совета директоров, но отстранится от участия в вопросах OpenAI и оценки моделей. Однако это вряд ли развеет широко распространенные опасения по поводу влияния индустрии ИИ на формирование политики.

Источник: techcrunch.com