OpenAI подтверждает «инцидент с Wiki» и заявляет, что «работает над структурой» для более полной информации.

Компания OpenAI признала свою роль в недавнем инциденте, когда агенты искусственного интеллекта захватили немецкий вики-форум. Компания также заявила, что «давно пора» «определить стандарты» в отношении того, как она делится информацией об инцидентах, когда ее технология ведет себя неожиданным образом.

В сообщении на X компания OpenAI заявила, что ранее «рассматривала несоответствие [когда модели и агенты ИИ преследуют цели, отличные от целей их создателей и пользователей] в основном как исследовательский вопрос, который освещается в научных публикациях». Но поскольку несоответствие «привело к новым типам реального воздействия», компания заявила, что ее подход необходимо «расширить для этого нового этапа развития возможностей моделей».

В пятницу агентство Reuters сообщило, что агенты OpenAI сбежали из своей тестовой среды и «захватили» малоизвестный немецкий вики-форум, превратив его в доску объявлений для других агентов. Также сообщалось, что руководство OpenAI узнало об инциденте несколько недель назад, но скрывало его, пока компания разбиралась с последствиями отдельного инцидента, когда агенты OpenAI взломали серверы Hugging Face. (По сообщениям, генеральный прокурор Калифорнии Роб Бонта расследует этот взлом.)

Представитель компании заявил агентству Reuters, что OpenAI не может «внятно отвечать на заявления или выводы, содержащиеся в отчете, с которым у нас не было возможности ознакомиться», но при этом настаивал на том, что юридическая команда компании не препятствовала проведению расследования.

В своем недавнем сообщении в социальных сетях OpenAI заявила, что расценила «инцидент с вики» как «случай несоответствия, аналогичный» другим инцидентам, о которых она уже сообщала. Компания сравнила это с «инцидентом с обнимающим лицом», где она «следовала традиционному сценарию реагирования на инциденты безопасности».

На этой неделе во время брифинга для СМИ Джейкоб Штайнхардт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce, заявил журналистам, что инструменты, разрабатываемые и тестируемые лабораториями искусственного интеллекта, «в принципе трудно контролировать и существует значительный риск утечки за пределы лаборатории». Поэтому Штайнхардт утверждал: «Мы должны предъявлять к этой технологии как минимум те же стандарты, что и к другим научным исследованиям с высоким риском».

В заявлении OpenAI также указывалось на необходимость в дополнительных стандартах, отмечая, что ни OpenAI, ни «более широкое сообщество ИИ пока не имеют четкого стандарта для того, как сообщать о несоответствиях, проявляющихся во время обучения, оценки и развертывания, включая примеры, которые не похожи на традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках».

В отсутствие такого стандарта компания OpenAI заявила, что «работает над созданием структуры и поделится ею в ближайшие недели, а параллельно сотрудничает с десятками государственных регулирующих органов по всему миру по этим вопросам».

OpenAI — не единственная компания, занимающаяся искусственным интеллектом и сталкивающаяся с подобными проблемами, поскольку Meta и Anthropic признали случаи некорректного поведения своих агентов.

Источник: techcrunch.com