Архив рубрики ~Лента новостей~

Компания OpenAI вводит новые меры безопасности после взлома приложения Hugging Face.

Компания OpenAI вводит новые меры безопасности после взлома приложения Hugging Face.
Компания OpenAI вводит новые меры безопасности после взлома приложения Hugging Face.

Во вторник компания OpenAI объявила о новом пакете политик безопасности, направленных на предотвращение инцидентов безопасности во время тестирования моделей. Новые меры защиты включают более детальный мониторинг моделей в процессе разработки, а также большее внимание к согласованности и безопасности в процессе постобучения.

«По мере того, как модели становятся все более совершенными, растут и риски, связанные с их внутренней разработкой и тестированием», — говорится в сообщении компании в блоге. «Наши стандарты мониторинга, согласования и безопасности должны опережать эти риски».

Новые меры являются одним из первых публичных изменений в практике обеспечения безопасности OpenAI с момента инцидента с «обнимающимся лицом», о котором стало известно 21 июля.

Представители OpenAI заявили, что эти меры не являются прямой реакцией на инцидент с «обнимающимся лицом», а были также частично вызваны возможностями кибербезопасности готовящейся к выпуску модели Astra, а также общими темпами прогресса в разработке ИИ.

В том же сообщении OpenAI сообщила, что приостановила обучение с подкреплением (RL) на две недели после инцидента с «обнимающимся лицом», но с тех пор возобновила работу многих менее рискованных моделей.

«Наш крупнейший запланированный запуск системы обучения с подкреплением остается приостановленным, пока мы проводим обучение и оценку в меньшем масштабе для анализа поведения модели, проверки наших мер безопасности и получения дополнительных доказательств соответствия требованиям, прежде чем продолжить», — говорится в сообщении.

В беседе с журналистами вице-президент OpenAI по исследованиям Амелия Глэзе подчеркнула, что по мере повышения производительности моделей ужесточаются требования к контролю, при этом наибольшее внимание будет уделяться самым крупным моделям.

«Мы установили требования и ожидания в отношении безопасного строительства», — заявил Глейз журналистам. «Эти требования и ожидания варьируются в зависимости от уровня риска, который мы наблюдаем».

После инцидента, в результате которого модели покинули среду обучения, взломав инструмент в сети, имевший доступ к интернету, OpenAI подверглась критике за ненадлежащие методы обеспечения сетевой безопасности. Новые меры защиты включают в себя более строгие методы сетевой изоляции, хотя конкретные детали остаются неясными. В новой системе, как говорится в сообщении, «один случай взлома рабочей нагрузки или вспомогательной службы сам по себе не позволяет получить несанкционированный доступ к интернету или другим внутренним сетям».

Наиболее надежной защитой является система мониторинга, которая анализирует действия инструментов, доступные траектории логирования и журналы активности на предмет различных несанкционированных действий. OpenAI заявляет, что стремится выдавать оповещения в течение 30 минут после возникновения подозрительной активности.

По оценкам OpenAI, вычислительная нагрузка на систему мониторинга составит примерно 20% от нагрузки от отслеживаемого процесса. Компания пообещала предоставить более подробную информацию о системе в предстоящей публикации в блоге. Официальный анализ произошедшего также пока не опубликован.

Источник: techcrunch.com

❌ Нет тегов для этой статьи

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Новости робототехники Компания Waymo приостановила поездки по автомагистралям по всей стране после распоряжения Департамента транспортных средств Калифорнии. Новости робототехники Это простое изменение предотвращает застревание роев роботов. Новости робототехники Как я готовил робота-собаку Unitree Go2 на удаленке к МТС True Tech Champ Новости робототехники Гибкие роботизированные манипуляторы учатся предсказывать свои следующие движения. Новости робототехники Выращенные в лаборатории мышцы мышей позволяют крошечным роботам прыгать, плавать, ходить и хватать предметы. Новости робототехники Колесные, летающие и шестиногие роботы остаются на правильном пути благодаря новому методу обучения. Новости робототехники Мягкая роботизированная рыба сочетает в себе высокоскоростное плавание и трехмерную маневренность. Новости робототехники БИОЛОГ: НЕУМЕРЕННОЕ ИСПОЛЬЗОВАНИЕ ГАДЖЕТОВ НЕОБРАТИМО МЕНЯЕТ ЛИЧНОСТЬ РЕБЁНКА Новости робототехники Искусственный интеллект в БПЛА: преимущества и риски Новости робототехники Новая система искусственного интеллекта поможет машинам более детально понимать трехмерное пространство. Новости робототехники Ростех показал кобота с «умным» зрением Новости робототехники ДНК-роботы могли бы доставлять лекарства и выслеживать вирусы внутри вашего тела. Новости робототехники Человекоподобные роботы, играющие в футбол, забили важный гол в области робототехники, продемонстрировав высокую координацию движений. Новости робототехники Специалист по робототехнике утверждает, что безопасность человекоподобных роботов должна быть первостепенной задачей. Новости робототехники Компания Waymo приостановила поездки по автомагистралям по всей стране после распоряжения Департамента транспортных средств Калифорнии. Новости робототехники Это простое изменение предотвращает застревание роев роботов. Новости робототехники Как я готовил робота-собаку Unitree Go2 на удаленке к МТС True Tech Champ Новости робототехники Гибкие роботизированные манипуляторы учатся предсказывать свои следующие движения. Новости робототехники Выращенные в лаборатории мышцы мышей позволяют крошечным роботам прыгать, плавать, ходить и хватать предметы. Новости робототехники Колесные, летающие и шестиногие роботы остаются на правильном пути благодаря новому методу обучения. Новости робототехники Мягкая роботизированная рыба сочетает в себе высокоскоростное плавание и трехмерную маневренность. Новости робототехники БИОЛОГ: НЕУМЕРЕННОЕ ИСПОЛЬЗОВАНИЕ ГАДЖЕТОВ НЕОБРАТИМО МЕНЯЕТ ЛИЧНОСТЬ РЕБЁНКА Новости робототехники Искусственный интеллект в БПЛА: преимущества и риски Новости робототехники Новая система искусственного интеллекта поможет машинам более детально понимать трехмерное пространство. Новости робототехники Ростех показал кобота с «умным» зрением Новости робототехники ДНК-роботы могли бы доставлять лекарства и выслеживать вирусы внутри вашего тела. Новости робототехники Человекоподобные роботы, играющие в футбол, забили важный гол в области робототехники, продемонстрировав высокую координацию движений. Новости робототехники Специалист по робототехнике утверждает, что безопасность человекоподобных роботов должна быть первостепенной задачей.

Оставить комментарий