Президент OpenAI призывает предприятия ускорить разработку средств защиты от угроз в сфере искусственного интеллекта.

Кибербезопасность ИИ

Президент OpenAI призывает предприятия ускорить разработку средств защиты от угроз в сфере искусственного интеллекта.

Президент и соучредитель OpenAI Грег Брокман предупреждает, что командам по обеспечению безопасности предприятий предстоит в сжатые сроки внедрить средства защиты на основе искусственного интеллекта.

Брокман опубликовал отчет о том, что компания называет инцидентом «OpenAI-Hugging Face», используя его в качестве аргумента в пользу того, что организациям необходимо повысить уровень своей безопасности с беспрецедентной скоростью. Он пишет, что после инцидента общался со многими организациями и обнаружил общую тему в этих разговорах: руководители понимают, что им необходимо действовать быстрее, чем позволяют их нынешние программы безопасности.

Необходимость в этом вызвана конкретным событием. «Агентный коллектив» автономно проник в исследовательскую инфраструктуру OpenAI, а затем переместился в производственную инфраструктуру Hugging Face. Злоумышленники объединили ранее неизвестные уязвимости безопасности с утечками учетных данных пользователей, найденными в интернете, чтобы завершить вторжение. Брокман называет это предварительным показом того, как будут развиваться возможности типичного злоумышленника в ближайшие месяцы.

Перед руководителями служб безопасности стоит решение по вопросам защиты с использованием искусственного интеллекта.

Брокман утверждает, что инцидент выявил проблему, выходящую за рамки сети любой отдельной компании. Он пишет, что накопленный технический долг внутри каждой организации «скрывает существенные недостатки», которые теперь защитникам необходимо обнаружить и исправить раньше, чем это сделают злоумышленники.

По его словам, модели ИИ, разрабатываемые в отрасли, все чаще способны автоматизировать отдельные этапы реальных кибератак, что упрощает обнаружение и использование давно существующих уязвимостей в системе безопасности. Эти уязвимости варьируются от ошибок, глубоко заложенных в написанном человеком программном обеспечении, до забытых разрешений, которые годами оставались без управления.

По словам самого Брокмана, сроки принятия этого решения оказались короткими. Ранее в этом году OpenAI начала предоставлять свои возможности в области кибербезопасности только доверенным специалистам по защите, а не широкой публике, — это была преднамеренная попытка обеспечить преимущество специалистам по защите. С тех пор другие компании выпустили модели с открытым исходным кодом, возможности в области кибербезопасности которых отстают от передовых разработок всего на несколько месяцев.

Брокман указывает на еще одну модель, выпуск которой, по всей видимости, запланирован на конец августа, и которая, по его словам, значительно ускорит развитие угроз. Для руководителей предприятий это сокращает время, необходимое для создания систем защиты с использованием ИИ, прежде чем широкодоступные модели сократят разрыв с возможностями злоумышленников.

Брокман описывает лежащую в основе динамику как гонку с двумя преимуществами. По его словам, злоумышленники, использующие искусственный интеллект, вскоре смогут обнаруживать давно существующие уязвимости во многих системах, но та же технология предоставит защитникам инструменты для более быстрого обнаружения, определения приоритетов и устранения этих уязвимостей.

Описывая безопасность как игру в кошки-мышки, Брокман утверждает, что ИИ может изменить ее фундаментальную экономику таким образом, что это будет выгодно защитникам. Компания OpenAI заявляет, что начала обучать модели специально для написания более безопасного кода. Отдельно компания указывает на возможности своих моделей в области математических доказательств, которые, по ее словам, могут быть применены для формальной проверки безопасности программного обеспечения способами, которые оказались сложными для выполнения людьми в больших масштабах.

Тестовый случай против личного веб-сайта Брокмана.

Брокман приводит личный пример того, как на практике выглядит быстрая реакция. После инцидента он обратился в ChatGPT Work, использующую общедоступное решение GPT-5.6, с просьбой оценить безопасность его личного сайта gregbrockman.com. Он описывает его как простой статический сайт, размещенный на AWS, где Cloudflare выступает в качестве «входной двери», и говорит, что ожидал ограниченной области уязвимостей.

Проверка заняла около 15 минут и выявила 13 проблем. Брокман говорит, что многие из них, вероятно, сами по себе не могли быть использованы злоумышленниками, но он может представить, как они могут быть объединены в цепочку с другими уязвимостями. Инструмент обнаружил, что его DNS-записи не были настроены таким образом, чтобы предотвратить подделку электронных писем с его адреса. На его сайте использовалась небезопасная версия jQuery, а Cloudflare перенаправлял запросы в AWS по незашифрованному HTTP.

Затем он обратился в ChatGPT Work с просьбой исправить проблемы, что и было сделано примерно за час. Инструмент открыл панель управления Cloudflare в его браузере и проработал DNS, TLS и расширенные настройки безопасности. Он полностью удалил jQuery с сайта, перенес сайт с AWS на Cloudflare Pages и начал поэтапное внедрение DMARC.

Брокман говорит, что это небольшая демонстрация существующих моделей, функционирующих в качестве того, что он называет киберзащитником, способным обнаруживать множество проблем с конфигурацией, на решение которых у человека может не хватать времени или специальных знаний, а затем применять исправления с помощью поэтапного развертывания.

Как OpenAI реструктурировала свою собственную защиту

Брокман пишет, что инцидент с «Обнимающим лицом» показал, что OpenAI недооценила реальные кибервозможности своих собственных моделей ИИ, что побудило компанию усилить требования к безопасности и ускорить существующие исследования в области безопасности и внутреннюю работу по обеспечению безопасности. Он выделяет четыре области внутренних инвестиций, которые лежат в основе его рекомендаций другим организациям.

Во-первых, это использование собственных моделей OpenAI для обеспечения безопасности кода. Codex, наряду с плагином безопасности, проверяет изменения кода и выявляет уязвимости до развертывания. Брокман четко заявляет, что цель не состоит в том, чтобы выявлять больше уязвимостей, требующих проверки человеком; цель состоит в том, чтобы обнаруживать реальные уязвимости до их внедрения и сокращать время между обнаружением проблемы и развертыванием исправления. Амбиции OpenAI заключаются в устранении некоторых классов уязвимостей программного обеспечения в новом коде.

Второй столп предполагает использование моделей для постоянной защиты инфраструктуры. Брокман говорит, что почти все первоначальные оповещения о безопасности OpenAI теперь обрабатываются системами ИИ до вмешательства людей, что, по его словам, снижает нагрузку на специалистов по защите и сокращает время реагирования. Компания связывает эти обнаружения с ограниченными автоматизированными ответными действиями, сохраняя при этом ответственность за наиболее важные решения за людьми, с заявленной целью обнаружения и реагирования на проблемы безопасности со скоростью, сопоставимой со скоростью работы машин.

В-третьих, OpenAI использует свои модели для непрерывного выявления и анализа потенциальных путей атаки, ища уязвимости, неправильные конфигурации, избыточно привилегированные учетные записи и непреднамеренные границы доверия. Это поддерживает то, что Брокман называет постоянной оценкой инвариантов безопасности компании — свойств, которые, по ее мнению, должны сохраняться во всех ее продуктах и инфраструктуре.

Четвертый столп — это инвестиции в фундаментальные основы в масштабе всей системы, включая безопасную архитектуру, многоуровневую защиту и принцип минимальных привилегий. Заявленная цель проектирования — создание систем, в которых для возникновения катастрофических последствий необходимо одновременное отключение нескольких независимых элементов управления. Сетевая изоляция, повышение безопасности рабочих нагрузок, мониторинг, а также практика обновления и развертывания остаются частью этого базового уровня, и, по словам Брокмана, они будут иметь большее, а не меньшее значение по мере роста возможностей ИИ с обеих сторон.

Что Брокман советует командам по обеспечению безопасности предприятий делать сейчас?

Брокман предлагает командам безопасности список действий, ориентированных на скорость, а не на полную перестройку программы. Он рекомендует заручиться поддержкой организации и провести настольные учения, чтобы смоделировать, как подобные атаки могут развиваться внутри конкретной организации. Он советует предоставить командам безопасности инструмент управления, такой как Codex или плагин Codex Security, с утвержденным доступом к кодовым базам и конфигурации инфраструктуры, начиная с наиболее приоритетных систем, а не дожидаясь общекорпоративного внедрения.

Он предлагает сначала обучить этого агента навыкам, поддерживаемым сообществом, охватывающим статический анализ, проверку кода с акцентом на безопасность, анализ вариантов уязвимостей и риски в цепочке поставок программного обеспечения, а затем развить специфические для организации навыки на основе существующей архитектуры и моделей угроз. Организациям следует сначала провести оценку доступных из интернета сервисов, потоков аутентификации, инфраструктуры как кода и систем, обрабатывающих конфиденциальные данные. Затем командам следует обработать существующие накопившиеся данные сканера, оповещения о зависимостях и отчеты о поиске уязвимостей, попросив агента отличать уязвимости, которые можно использовать для взлома, от лишней информации.

Брокман также рекомендует интегрировать проверку на основе агентов непосредственно в конвейеры разработки, проверяя ошибки аутентификации, обход контроля доступа, раскрытые учетные данные и небезопасные зависимости до слияния кода. Для подтвержденных проблем он предлагает, чтобы агент генерировал патч, писал регрессионный тест и подтверждал, что уязвимость больше не воспроизводится, сохраняя при этом проверку человеком для последующих изменений.

Что касается автоматизации, Брокман рекомендует поэтапный подход, а не попытку немедленно создать автономный центр управления безопасностью. Организациям следует начать со сканирования только для чтения одного репозитория, перейти к консультативному сканированию запросов на слияние, затем к обработке оповещений в режиме реального времени и только позже внедрить автоматическое закрытие узко определенных ложных срабатываний. Каждое решение должно приниматься человеком до тех пор, пока не будет достигнута уверенность в результате этой последовательности действий.

Он также рекомендует организациям подать заявку на получение доверенного доступа к кибербезопасности (Trusted Access for Cyber), чтобы получить разрешение на использование GPT-Daybreak-Blue для защитных задач, включая реагирование на инциденты, разработку средств обнаружения и анализ вредоносного ПО. Брокман рекомендует потренироваться в использовании этой возможности на основе журналов и телеметрии, прежде чем реальный инцидент заставит ее применить эту технологию.

В заключение Брокман утверждает, что ни одна компания не может решить эту проблему в одиночку, и призывает лаборатории ИИ, поставщиков решений в области безопасности, предприятия и разработчиков программного обеспечения делиться проверенными результатами, решениями и руководствами, чтобы обнаружение уязвимостей одной организацией укрепляло более широкую экосистему. Он описывает окно возможностей для защитников как открытое сейчас, и организациям необходимо автоматизировать программы безопасности в ближайшие месяцы, чтобы идти в ногу с возможностями злоумышленников, в преддверии ожидаемого в конце августа дальнейшего расширения масштабов угроз.

См. также: Alvys запускает ИИ-агентов для рабочих процессов TMS в сфере грузоперевозок.

Хотите узнать больше об искусственном интеллекте и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие является частью TechEx и проводится одновременно с другими ведущими технологическими выставками, включая Cyber Security & Cloud Expo. Для получения дополнительной информации нажмите здесь.

AI News — это проект TechForge Media. Здесь вы можете ознакомиться с другими предстоящими мероприятиями и вебинарами, посвященными корпоративным технологиям.

Источник: www.artificialintelligence-news.com