Агенты-изгои OpenAI постоянно сбегают, и для их расследования отсутствует какой-либо формальный порядок.

Компания OpenAI оказалась в центре очередного инцидента с использованием роя агентов. Исследователи утверждают, что в мае и июне агенты, развернутые внутри компании, захватили малоизвестную немецкоязычную вики-страницу, используя ее для координации оценок и обмена методами, чтобы обойти собственный контроль OpenAI (OpenAI пока не подтвердила, что рой был создан самой компанией).

Эта информация появилась спустя несколько дней после того, как METR и Redwood Research опубликовали свой отчет о взломе Hugging Face в июле. В июле группа агентов OpenAI объединила усилия, чтобы выйти из своей «песочницы» во время оценки кибербезопасности и взломать серверы Hugging Face. Затем последующая группа переняла методы первой и использовала их для получения административного доступа к исследовательскому кластеру в собственной инфраструктуре OpenAI. OpenAI привлекла METR и Redwood для расследования части инцидента, связанной с Hugging Face, но масштабы их расследования не охватили взлом собственной инфраструктуры OpenAI.

Когда ИИ-агент выходит за рамки заданных ограничений, кто отвечает за выяснение того, что произошло и почему? На данный момент ответ таков: тот, кого лаборатория решит впустить, на каких бы условиях она ни решила это сделать.

Теперь, когда всплыл еще один инцидент — после аналогичных эпизодов с моделями от Meta и Anthropic — исследователи безопасности ИИ с еще большей настойчивостью утверждают, что серьезные инциденты должны сопровождаться независимыми расследованиями после инцидента, а не оставлять на усмотрение лабораторий решение о том, когда привлекать сторонних специалистов и что им разрешено исследовать.

«Результаты принципиально сложно контролировать, и существует значительный риск утечки информации за пределы лаборатории», — заявил в среду на брифинге для СМИ по вопросам безопасности ИИ Джейкоб Штайнхардт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce. «Мы должны предъявлять к этой технологии как минимум те же стандарты, что и к другим научным исследованиям с высоким риском».

Хотя сам факт приглашения компанией OpenAI компаний METR и Redwood для расследования инцидента с «обнимающимся лицом» заслуживает похвалы, многие считают, что расследование было слишком узким. Три следователя провели шесть дней в офисах OpenAI, изучая период расследования, ограниченный примерно неделей, закончившейся 13 июля. Что особенно важно, компрометация инфраструктуры OpenAI продолжалась и после 13 июля, и этот вопрос не был рассмотрен.

Исследователи из METR заявили, что с каждым возвращением их понимание событий «значительно углублялось», что заставляло их существенно расширять и пересматривать отчет. Это поднимает вопрос о том, что еще они могли бы обнаружить в ходе более широкого расследования.

На вопрос о том, ведется ли дальнейшее расследование этого инцидента, исследователи из Redwood и METR отказались от комментариев, а компания OpenAI не ответила на неоднократные запросы.

«В целом, было сложно составить точное представление о событиях, и нам не хватало тех аспектов истории, которые мы сейчас считаем ключевыми, почти до самого конца нашего расследования», — отметил Райан Гринблатт, главный научный сотрудник компании Redwood, в сообщении в социальных сетях, посвященном этому делу.

Штайнхардт подчеркнул, что нынешние инциденты показывают, что отрасли необходимы «систематические поведенческие расследования» и «более независимый анализ после инцидентов».

«Недавние хакерские атаки напоминают о том, что возможности быстро масштабируются, поэтому и контроль должен масштабироваться», — сказал Штейнхардт. «Помимо самой технологии, нам также необходим более независимый доступ и контроль со стороны третьих лиц».

Призывы к действию прозвучали на фоне выпуска компанией OpenAI своей самой мощной и функциональной модели искусственного интеллекта Astra, которая, по мнению экспертов по безопасности, может оказаться скорее «черным ящиком» из-за используемого метода рассуждений, затрудняющего отслеживание цепочки мыслей модели.

К сожалению, закон пока не предусматривает проведение независимых проверок, которые необходимы в других отраслях — например, в случае авиационных аварий и серьезных выбросов химических веществ существуют, соответственно, Национальный совет по безопасности на транспорте и Совет по химической безопасности.

Законодатели штатов только начали требовать от компаний, работающих в сфере передового ИИ, сообщать о некоторых серьезных инцидентах, связанных с безопасностью, и в некоторых случаях проходить независимые проверки. Однако ни один из трех основных законов о безопасности передового ИИ в Калифорнии, Нью-Йорке или Иллинойсе четко не предусматривает проведение независимого расследования несчастных случаев, инициированного подобными инцидентами.

«В настоящее время большинство действующих законов требуют лишь краткого изложения подобных инцидентов простым языком, и они не дают правительству права задавать дополнительные вопросы, направлять следователей, получать доступ к документам или требовать их сохранения», — заявила Маккензи Арнольд, управляющий директор по законодательству и политике США в LawAI, во время брифинга для СМИ в среду. «А это всё, что вам нужно, чтобы разобраться в ситуации».

Законодатели начинают сомневаться в масштабе и прозрачности ответных мер OpenAI. На этой неделе конгрессмены Джош Готхаймер (демократ от Нью-Джерси) и Майк Лоулер (республиканец от Нью-Йорка) представили законопроект, направленный на обеспечение безопасности несанкционированных агентов ИИ. Конгрессмен Грег Касар (демократ от Техаса) на этой неделе в письме OpenAI выразил «глубокую обеспокоенность ограниченным масштабом» расследования инцидента со взломом Hugging Face.

Источник: techcrunch.com