Окно защитника | OpenAI

Грег Брокман

• Обзор текущей ситуации
• Личная история
• Что делает OpenAI для своей защиты?
• Что должны делать защитники сейчас?

• Обзор текущей ситуации
• Личная история
• Что делает OpenAI для своей защиты?
• Что должны делать защитники сейчас?

Инцидент с OpenAI и функцией «Обнимающее лицо » (открывается в новом окне) стал переломным моментом для кибербезопасности, поскольку он показал, как будут развиваться возможности типичного злоумышленника в ближайшие месяцы. За последние несколько недель я общался со многими организациями, и одна тема ясна: они понимают необходимость кардинального повышения уровня своих методов кибербезопасности с беспрецедентной скоростью. В этом посте я расскажу о том, что мы делаем для защиты от OpenAI, о конкретных шагах, которые другие организации могут предпринять уже сегодня, и почему сейчас самое время действовать.

Обзор текущей ситуации

Разработанные по всему миру модели искусственного интеллекта все чаще способны автоматизировать отдельные этапы реальных кибератак, что упрощает обнаружение и использование давних уязвимостей в системе безопасности — от ошибок, скрытых глубоко в написанном человеком программном обеспечении, до забытых разрешений. Эти же возможности ИИ предоставляют специалистам по защите новые способы обнаружения и устранения этих слабых мест, но действовать нужно немедленно. Если компании будут действовать решительно — включая улучшение своих базовых показателей и расширение возможностей своих команд с помощью ИИ — мы сможем сделать интернет безопаснее, чем когда-либо.

В инциденте с OpenAI-Hugging Face коллектив агентов смог автономно проникнуть не только в исследовательскую инфраструктуру OpenAI, но и в производственную инфраструктуру другой компании, объединив уязвимости, начиная от ранее неизвестных недостатков безопасности и заканчивая использованием учетных данных пользователей, которые были украдены из интернета. Становится все более очевидным, что технический долг (открывается в новом окне) каждой компании скрывает существенные недостатки, и защитникам необходимо находить и исправлять их раньше, чем это сделают злоумышленники.

Чтобы дать преимущество защитникам перед злоумышленниками, в начале этого года мы начали предоставлять доступ к нашим кибервозможностям только доверенным защитникам . С тех пор различные компании выпустили модели с открытым доступом и кибервозможностями, отстающими от передовых разработок всего на несколько месяцев. Самая последняя из этих моделей, по всей видимости, будет выпущена (открывается в новом окне) в конце августа и, вероятно, значительно ускорит развитие угроз.

Хотя злоумышленники, использующие искусственный интеллект, вскоре смогут находить давно существующие уязвимости во многих системах, ИИ также значительно упростит для защитников поиск, определение приоритетов и устранение этих же уязвимостей. Безопасность по-прежнему остается игрой в кошки-мышки, но ИИ может Изменение экономической модели (открывается в новом окне) таким образом, чтобы это давало принципиальное преимущество защитникам . Например, мы начинаем обучать наши модели специально для написания кода, обладающего сверхчеловеческой безопасностью. Наши модели также невероятно хороши в математических доказательствах , которые можно применять для формальной проверки безопасности программного обеспечения способом, который оказался невыполнимым для человека.

Личная история

После инцидента с OpenAI-Hugging Face я попросил ChatGPT Work (используя общедоступное решение GPT-5.6) оценить безопасность сайта gregbrockman.com (открывается в новом окне) . Это простой статический сайт, размещенный на AWS с Cloudflare в качестве фронтдора, поэтому я предположил, что уязвимостей там будет немного.

Примерно за 15 минут было обнаружено 13 проблем, многие из которых, вероятно, сами по себе не являются уязвимостями, но я могу представить, как их можно объединить с другими уязвимостями для достижения значительных результатов. У меня не были настроены DNS-записи, предотвращающие подделку электронных писем злоумышленниками; на моем сайте использовалась небезопасная версия jQuery; Cloudflare перенаправлял запросы в AWS по незашифрованному HTTP-трафику.

Затем я попросил ChatGPT Work исправить эти проблемы, что они и сделали в течение часа. Они открыли панель управления Cloudflare в моем браузере и начали нажимать множество кнопок для правильной настройки DNS, TLS и расширенных параметров безопасности; полностью удалили jQuery с сайта; перевели меня с AWS на Cloudflare Pages; начали поэтапное внедрение DMARC (открывается в новом окне) .

И это был всего лишь мой личный сайт. Это небольшой пример того, как наши существующие модели могут работать в качестве киберзащитника — выявляя множество проблем, на решение которых у человека не хватило бы времени или знаний (многие из исправленных настроек мне лишь смутно знакомы, но я бы не смог сходу сказать, как правильно их настроить), а затем устраняя их с помощью соответствующего плана внедрения.

Что делает OpenAI для своей защиты?

Инцидент с «Обнимающим лицом» показал, что мы недооценили реальные кибервозможности наших моделей ИИ. Соответственно, мы усиливаем требования к безопасности, что, в свою очередь, еще больше усиливает наши текущие исследования в области безопасности и внутреннюю работу по обеспечению безопасности.

Я хочу немного рассказать о нашем подходе к обеспечению безопасности OpenAI в данный момент, в надежде, что это будет полезно другим организациям. Для защиты OpenAI мы вкладываем значительные средства как в базовые средства контроля — правильное выполнение основных задач — так и в усиление нашей защиты за счет использования передовой разведки. Эта стратегия основана на четырех основных принципах.

Во-первых, мы используем наши модели для повышения безопасности нашего кода. Codex, включая наш плагин безопасности, проверяет изменения кода, выявляет уязвимости и помогает разработчикам исправлять проблемы до их развертывания. Цель состоит не в том, чтобы просто получать больше результатов проверки безопасности, требующих участия человека; задача состоит в том, чтобы выявлять реальные уязвимости до их внедрения и сокращать путь от обнаружения проблемы до безопасного развертывания исправления. По мере того, как мы продолжаем обучать наши модели для создания все более безопасного кода, наша цель — исключить некоторые классы уязвимостей программного обеспечения для вновь созданного кода.

Во-вторых, мы используем наши модели для непрерывной защиты нашей инфраструктуры. Сегодня почти все наши первоначальные оповещения о безопасности обрабатываются службами разведки, прежде чем к процессу подключаются люди. Это помогает снизить трудозатраты защитников, улучшить время реагирования и позволяет людям тратить время на то, где их навыки наиболее востребованы — в анализе, оценке и применении экспертных знаний. Мы все чаще связываем эти обнаружения с ограниченными автоматизированными ответами, оставляя при этом ответственность за наиболее важные решения за людьми. Цель состоит в том, чтобы обеспечить обнаружение проблем безопасности и реагирование на них со скоростью, сопоставимой со скоростью работы машин.

В-третьих, мы используем передовые методы разведки для непрерывного выявления, анализа и определения потенциальных путей атаки. Выявляя уязвимости, неправильную конфигурацию, чрезмерно привилегированные учетные записи или непреднамеренные границы доверия, мы можем быстро выявлять и устранять эти пробелы до того, как ими смогут воспользоваться злоумышленники. Это позволяет нам постоянно оценивать, отслеживать и тестировать наши инварианты безопасности — свойства безопасности, которые мы считаем истинными, — во всех наших продуктах, инфраструктуре и системах.

Наконец, мы вкладываем значительные средства в фундаментальные аспекты в масштабах всей системы. Мы продолжаем инвестировать в безопасную архитектуру и средства контроля, внедряем такие стратегии, как многоуровневая защита и принцип наименьших привилегий, и разрабатываем системы, для катастрофического исхода которых требуется одновременный отказ нескольких независимых элементов управления. Классические средства контроля безопасности, такие как изоляция сети, усиление защиты рабочих нагрузок, мониторинг, а также безопасное обновление и развертывание, будут важны как никогда в будущем искусственного интеллекта.

Что должны делать защитники сейчас?

Время имеет решающее значение, и защитникам необходимо с невероятной скоростью выполнить описанные ниже шаги. Ниже я упомяну технологию OpenAI, но в экосистеме есть множество конкурентов, которых также стоит оценить. Важнее не инструмент, а предоставление вашим защитникам возможности использовать эффективный ИИ уже сейчас.

• Получите поддержку и одобрение со стороны организации . Мы наблюдаем стремительные изменения в сфере рисков безопасности — убедитесь, что ваши подразделения по безопасности и разработке программного обеспечения имеют поддержку, партнерство и ресурсы для быстрого реагирования на эти риски. Проведите с командами настольные учения, чтобы смоделировать, как эти атаки могут проявиться в ваших организациях и как вы будете на них реагировать.
• Предоставьте вашей команде безопасности агента . Начните использовать Codex, плагин Codex Security (открывается в новом окне) или другой эффективный инструмент для работы с кодом и безопасностью. Предоставьте ему авторизованный доступ к кодовым базам, конфигурациям инфраструктуры и технической документации, необходимой вашей команде безопасности для анализа. Не ждите общекорпоративного внедрения, чтобы начать с наиболее приоритетных систем.
• Обеспечьте этого агента экспертными знаниями в области безопасности . Начните с навыков , поддерживаемых сообществом (открывается в новом окне) , которые включают в себя рабочие процессы для статического анализа, анализа кода с акцентом на безопасность, анализа вариантов уязвимостей, оценки рисков в цепочке поставок программного обеспечения и других рабочих процессов в области безопасности. Затем развивайте собственные навыки, ориентируясь на архитектуру вашей организации, стандарты безопасности, модели угроз и руководства по действиям.
• Немедленно проведите оценку безопасности собственных систем . В первую очередь следует уделить внимание проверкам интернет-сервисов, процессов аутентификации, инфраструктуры как кода, конвейеров развертывания и систем, обрабатывающих конфиденциальную информацию. Расширяйте сканирование по мере того, как ваша команда будет обретать уверенность.
• Проработайте существующий список обнаруженных уязвимостей . Предоставьте своему агенту результаты сканирования кода, оповещений о зависимостях, заявок в службу безопасности, отчетов по программе вознаграждения за обнаружение ошибок и предыдущих оценок. Попросите его провести сортировку этих данных, отличить уязвимости, которые можно использовать в своих целях, от лишней информации, выявить связанные уязвимости в других частях кода и порекомендовать, что следует исправить в первую очередь.
• Внедрите проверку безопасности непосредственно в процесс разработки . Используйте агенты для проверки изменений кода перед их слиянием и запускайте проверки безопасности в CI. Ищите ошибки аутентификации, обход контроля доступа, раскрытые учетные данные, небезопасные зависимости, небезопасные значения по умолчанию, изменения, расширяющие доступ к производственным системам, и другие уязвимости.
• Попросите агента помочь исправить обнаруженные проблемы . В случае подтвержденных проблем попросите его сгенерировать и проверить целевой патч, написать регрессионный тест и подтвердить, что уязвимость больше не воспроизводится. Сохраняйте проверку человеком только для существенных изменений, но исключите ненужную задержку между выявлением реальной проблемы и предоставлением безопасного решения инженеру.
• Постепенно автоматизируйте обработку обнаруженных ошибок . Не начинайте с попытки создать автономный центр управления безопасностью. Начните с выполнения сканирования безопасности только для чтения в одном репозитории или поручите агенту просмотреть ранее разрешенные оповещения, используя доступ только для чтения к существующим журналам. Пусть он обобщит имеющиеся данные и порекомендует дальнейшие действия, в то время как человек будет принимать все решения. По мере роста уверенности переходите к консультативному сканированию с помощью запросов на изменение, затем к обработке оповещений в режиме реального времени, а затем к автоматическому закрытию узко определенных ложных срабатываний.
• Заранее подготовьте возможности для проведения криминалистических расследований с использованием ИИ . Подайте заявку на получение доверенного доступа для кибербезопасности (откроется в новом окне) и получите разрешение для вашей команды на использование GPT-Daybreak-Blue для авторизованной работы по защите, включая реагирование на инциденты, разработку средств обнаружения и анализ вредоносного ПО. Потренируйтесь использовать эту возможность для анализа журналов, телеметрии и оповещений безопасности.
• Экспериментируйте, проводите хакатоны и быстро внедряйте изменения . Нам потребуется создать множество новых инструментов, изменить методы работы и повысить квалификацию всех сотрудников для мира, в который мы движемся. Поощряйте своих сотрудников проводить эксперименты, планируйте хакатоны для разработки новых возможностей и сосредоточьтесь на быстром внедрении циклов, автоматизирующих небольшие части проблемы. Быстрый поэтапный прогресс приводит к накоплению защитных результатов, и вы можете постепенно расширять автономию по мере того, как ваша команда обретает уверенность.

Ни одна компания не может сделать это в одиночку. Мы просим лаборатории ИИ, поставщиков решений в области безопасности, предприятия и специалистов по поддержке делиться проверенными результатами, решениями и практическими руководствами, чтобы открытие, сделанное одной организацией, могло укрепить всю экосистему.

Окно возможностей для защитников открыто. В ближайшие месяцы каждой организации потребуется начать значительную автоматизацию своей программы безопасности, чтобы оставаться защищенной, и сообщество специалистов по безопасности должно срочно определить инструменты, методы и стратегии, которые позволят защитникам быстрее, чем злоумышленникам, наращивать потенциал по мере развития искусственного интеллекта. Это потребует огромных и беспрецедентных усилий, но если мы объединимся, мы сможем создать более безопасный мир, чем это было возможно ранее.

Источник: openai.com