Компания OpenAI вводит новые меры безопасности после взлома приложения Hugging Face.

Во вторник компания OpenAI объявила о новом пакете политик безопасности, направленных на предотвращение инцидентов безопасности во время тестирования моделей. Новые меры защиты включают более детальный мониторинг моделей в процессе разработки, а также большее внимание к согласованности и безопасности в процессе постобучения.

«По мере того, как модели становятся все более совершенными, растут и риски, связанные с их внутренней разработкой и тестированием», — говорится в сообщении компании в блоге. «Наши стандарты мониторинга, согласования и безопасности должны опережать эти риски».

Новые меры являются одним из первых публичных изменений в практике обеспечения безопасности OpenAI с момента инцидента с «обнимающимся лицом», о котором стало известно 21 июля.

Представители OpenAI заявили, что эти меры не являются прямой реакцией на инцидент с «обнимающимся лицом», а были также частично вызваны возможностями кибербезопасности готовящейся к выпуску модели Astra, а также общими темпами прогресса в разработке ИИ.

В том же сообщении OpenAI сообщила, что приостановила обучение с подкреплением (RL) на две недели после инцидента с «обнимающимся лицом», но с тех пор возобновила работу многих менее рискованных моделей.

«Наш крупнейший запланированный запуск системы обучения с подкреплением остается приостановленным, пока мы проводим обучение и оценку в меньшем масштабе для анализа поведения модели, проверки наших мер безопасности и получения дополнительных доказательств соответствия требованиям, прежде чем продолжить», — говорится в сообщении.

В беседе с журналистами вице-президент OpenAI по исследованиям Амелия Глэзе подчеркнула, что по мере повышения производительности моделей ужесточаются требования к контролю, при этом наибольшее внимание будет уделяться самым крупным моделям.

«Мы установили требования и ожидания в отношении безопасного строительства», — заявил Глейз журналистам. «Эти требования и ожидания варьируются в зависимости от уровня риска, который мы наблюдаем».

После инцидента, в результате которого модели покинули среду обучения, взломав инструмент в сети, имевший доступ к интернету, OpenAI подверглась критике за ненадлежащие методы обеспечения сетевой безопасности. Новые меры защиты включают в себя более строгие методы сетевой изоляции, хотя конкретные детали остаются неясными. В новой системе, как говорится в сообщении, «один случай взлома рабочей нагрузки или вспомогательной службы сам по себе не позволяет получить несанкционированный доступ к интернету или другим внутренним сетям».

Наиболее надежной защитой является система мониторинга, которая анализирует действия инструментов, доступные траектории логирования и журналы активности на предмет различных несанкционированных действий. OpenAI заявляет, что стремится выдавать оповещения в течение 30 минут после возникновения подозрительной активности.

По оценкам OpenAI, вычислительная нагрузка на систему мониторинга составит примерно 20% от нагрузки от отслеживаемого процесса. Компания пообещала предоставить более подробную информацию о системе в предстоящей публикации в блоге. Официальный анализ произошедшего также пока не опубликован.

Источник: techcrunch.com