OpenAI и Hugging Face объединили усилия для решения проблемы безопасности во время оценки модели | OpenAI

• Что произошло во время этого инцидента?
• Действия, которые мы предпринимаем сейчас
• Наш подход к оценке передовых возможностей в области кибербезопасности

• Что произошло во время этого инцидента?
• Действия, которые мы предпринимаем сейчас
• Наш подход к оценке передовых возможностей в области кибербезопасности

На прошлой неделе компания Hugging Face сообщила о новом типе инцидента безопасности (открывается в новом окне) после того, как обнаружила и локализовала агента ИИ, который скомпрометировал их инфраструктуру. Мы ожидаем, что подобные инциденты станут более распространенными с распространением моделей, обладающих все большими возможностями в области кибербезопасности. После расследования стало известно, что этот конкретный инцидент был вызван комбинацией моделей OpenAI — включая GPT-5.6 Sol и еще более совершенную предварительную модель, все с меньшим количеством отказов в киберпроверке для целей оценки — во время внутреннего тестирования на эталонном уровне (открывается в новом окне) возможностей кибербезопасности.

Мы считаем этот инцидент беспрецедентным кибер-инцидентом, в котором задействованы самые современные кибервозможности, и принимаем соответствующие меры. На данном этапе мы делимся предварительными результатами, чтобы помочь специалистам по кибербезопасности понять, что произошло, и скорректировать наши действия с учетом возможностей современных моделей. Мы продолжим проводить тщательное расследование совместно с Hugging Face и поделимся более подробной информацией об уязвимостях, инциденте и результатах после завершения расследования.

Что произошло во время этого инцидента?

Этот инцидент произошёл во время внутренней оценки, которая побуждает модели к использованию сложных методов атаки для количественной оценки их кибервозможностей. Мы оцениваем максимальные кибервозможности, проводя эту оценку без использования производственных классификаторов, предотвращающих использование моделями высокорискованной кибердеятельности. Наши тесты проводятся в сильно изолированной среде, с ограниченным сетевым доступом, позволяющим устанавливать пакеты через размещенное внутри компании стороннее программное обеспечение, которое выступает в качестве прокси и кэша для реестров пакетов.

Модели выявили и связали уязвимости в исследовательской среде OpenAI и производственной инфраструктуре Hugging Face, чтобы получить тестовые решения непосредственно из производственной базы данных Hugging Face. Все указывает на то, что модели были чрезмерно сосредоточены на поиске решения для ExploitGym, идя на крайние меры для достижения довольно узкой цели тестирования.

В процессе работы в нашей изолированной тестовой среде наши модели потратили значительное количество вычислительных ресурсов на поиск способа получения открытого доступа к Интернету для решения задачи оценки. Для получения доступа модели выявили и использовали уязвимость нулевого дня (о которой мы теперь ответственно сообщили поставщику) в кэш-прокси реестра пакетов. Получив этот доступ, наши модели выполнили ряд действий по повышению привилегий и горизонтальному перемещению в нашей исследовательской тестовой среде, пока не достигли узла с доступом в Интернет.

Получив доступ к Интернету, модели пришли к выводу, что Hugging Face потенциально размещает модели, наборы данных и решения для ExploitGym. Зная это, модель искала и успешно нашла способы получить доступ к секретной информации, которую она могла использовать для обмана при оценке. В одном из примеров модель объединила несколько векторов атаки, включая использование украденных учетных данных и уязвимостей нулевого дня, чтобы найти путь удаленного выполнения кода на серверах Hugging Face. Команда безопасности OpenAI обнаружила эту аномальную активность внутри компании.

Команда безопасности и агенты Hugging Face обнаружили и остановили активность на своей инфраструктуре и уже начали локализацию и криминалистическую реконструкцию с использованием собственных моделей с открытым исходным кодом, когда наши команды подключились. Мы активно сотрудничаем с ними для продолжения расследования инцидента. Мы благодарны Hugging Face за оперативное и тесное сотрудничество в расследовании и устранении последствий.

Действия, которые мы предпринимаем сейчас

1. В рамках расследования мы внедряем строгие меры контроля в конфигурации инфраструктуры, что замедляет темпы исследований, пока устраняются уязвимости. Мы регулярно информируем наш Комитет по безопасности об этих мерах контроля и их влиянии.
2. Мы сотрудничаем с компанией Hugging Face для проведения криминалистического расследования инцидента.
3. Мы ответственно сообщили об обнаруженной уязвимости нулевого дня в используемом внутри компании стороннем программном обеспечении и работаем с ним над устранением этой уязвимости.
4. Мы включили Hugging Face в программу доверенного доступа и оказываем поддержку их командам в быстром использовании возможностей наших моделей для улучшения их защиты.
5. Мы совершенствуем и усиливаем меры защиты при проведении будущих тренингов и оценок. На этой неделе мы опубликовали статью в блоге о повышении безопасности и согласованности в эпоху долгосрочных моделей . Эти меры защиты при развертывании намеренно не были включены во время данной оценки, поскольку она была направлена на проверку киберуязвимостей. Этот инцидент указывает на необходимость дальнейшего усиления согласованности нашей модели, киберзащиты во время оценки и мониторинга во время внутреннего тестирования.

Наш подход к оценке передовых возможностей в области кибербезопасности

Как мы недавно сообщали, ИИ ускоряет обнаружение и использование уязвимостей. Главный урок этого инцидента заключается в том, что безопасность и защита моделей должны идти в ногу с быстро развивающимися возможностями. Мы усиливаем методы локализации, мониторинга, контроля доступа и оценки, используемые в процессе разработки моделей.

Оценка, проведенная британским институтом AISI, показывает, что такие модели, как GPT-5.6 Sol, все чаще способны поддерживать сложные многоэтапные кибер-операции в течение длительных периодов времени. Этот инцидент подтверждает, что эти теоретические возможности применимы в реальных условиях.

Этот инцидент также ясно показывает, что передовые модели могут обнаруживать и использовать новые пути атак в реальных системах без доступа к исходному коду. Он подчеркивает необходимость развития передовых кибервозможностей наряду с более надежными мерами защиты и средствами обороны.

Мы считаем, что передовые модели кибербезопасности должны помогать командам защиты обнаруживать уязвимости раньше злоумышленников, понимать, как уязвимости могут образовывать цепочки, и устранять их с машинной скоростью. Мы используем эти возможности для дальнейшего усиления защиты конфигурации инфраструктуры и сред оценки моделей; мы будем делиться нашими выводами и передовым опытом по мере получения знаний. Мы призываем других специалистов по кибербезопасности подать заявку на доверенный доступ и поэкспериментировать с этими моделями уже сейчас, чтобы преобразовать эти возможности в более эффективную профилактику, более быстрое обнаружение и более действенное реагирование на инциденты.

«Мы благодарны за сотрудничество с OpenAI по этому и другим вопросам. Этот инцидент, возможно, первый в своем роде, доказывает то, во что мы давно верим: безопасность ИИ не будет решена какой-либо одной компанией, работающей втайне. Она будет решена открыто, совместно, с широким доступом к ИИ для каждого специалиста по защите данных, повсюду».

—Клем Деланг, соучредитель и генеральный директор Hugging Face

Источник: openai.com