Что означает мифология Anthropic для будущего кибербезопасности

Две недели назад компания Anthropic объявила о выпуске своей новой модели Claude Mythos Preview, способной автономно обнаруживать и использовать уязвимости программного обеспечения в качестве оружия, превращая их в работающие эксплойты без помощи экспертов. Речь идёт об уязвимостях в ключевых программных продуктах, таких как операционные системы и интернет-инфраструктура, которые тысячи разработчиков, работающих над этими системами, не смогли обнаружить. Эта возможность будет иметь серьёзные последствия для безопасности, ставя под угрозу устройства и сервисы, которыми мы пользуемся каждый день. В результате Anthropic не предоставляет модель широкой публике, а только ограниченному числу компаний.

Эта новость потрясла сообщество специалистов по интернет-безопасности. В заявлении Anthropic было мало подробностей, что вызвало гнев многих наблюдателей. Некоторые предполагают, что у Anthropic нет достаточного количества графических процессоров для запуска этого продукта, и что кибербезопасность послужила предлогом для ограничения его выпуска. Другие утверждают, что Anthropic придерживается своей миссии по обеспечению безопасности ИИ. Шум и контршум , реальность и маркетинг. Разобраться во всем этом непросто, даже если вы эксперт.

Мы рассматриваем Мифос как реальный, но постепенный шаг, один из длинной череды подобных шагов. Но даже постепенные шаги могут быть важны, если мы посмотрим на общую картину.

Как искусственный интеллект меняет кибербезопасность

Мы уже писали о синдроме смещения базового уровня — явлении, которое заставляет людей — как общественность, так и экспертов — игнорировать масштабные долгосрочные изменения, скрытые в постепенных шагах. Это произошло с конфиденциальностью в интернете, и это происходит с искусственным интеллектом. Даже если бы уязвимости, обнаруженные Mythos, можно было бы выявить с помощью моделей ИИ прошлого месяца или прошлого года, их нельзя было бы обнаружить с помощью моделей ИИ пятилетней давности.

Анонс Mythos напоминает нам, что искусственный интеллект за несколько лет проделал огромный путь: базовый уровень действительно изменился. Поиск уязвимостей в исходном коде — это задача, в решении которой сегодня превосходно справляются большие языковые модели. Независимо от того, произошло это в прошлом году или произойдет в следующем, уже давно было ясно, что подобные возможности скоро появятся. Вопрос в том, как мы к этому адаптируемся.

Мы не считаем, что ИИ, способный к автономному взлому, создаст постоянную асимметрию между нападением и защитой; скорее всего, всё будет гораздо сложнее. Некоторые уязвимости можно обнаружить, проверить и исправить автоматически. Другие уязвимости будет трудно обнаружить, но легко проверить и исправить — например, стандартные облачные веб-приложения, построенные на основе стандартных программных стеков, где обновления можно быстро развернуть. Третьи же будет легко обнаружить (даже без мощного ИИ) и относительно легко проверить, но сложнее или невозможно исправить, например, устройства IoT и промышленное оборудование, которые редко обновляются или которые сложно модифицировать.

Существуют также системы, уязвимости которых легко обнаружить в коде, но сложно проверить на практике. Например, сложные распределенные системы и облачные платформы могут состоять из тысяч взаимодействующих сервисов, работающих параллельно, что затрудняет различение реальных уязвимостей от ложных срабатываний и их надежное воспроизведение.

Таким образом, мы должны различать системы, которые можно исправить, и системы, которые исправить невозможно, а также системы, которые легко проверить, и системы, которые трудно проверить. Эта классификация также дает нам рекомендации по защите таких систем в эпоху мощных инструментов искусственного интеллекта для поиска уязвимостей.

Системы, которые невозможно обновить или сложно проверить, следует защищать, обернув их в более строгие, жестко контролируемые слои защиты. Ваш холодильник, термостат или система промышленного управления должны находиться за строгим и постоянно обновляемым брандмауэром, а не свободно обмениваться данными с интернетом.

Распределенные системы, фундаментально взаимосвязанные, должны быть отслеживаемыми и следовать принципу минимальных привилегий, когда каждый компонент имеет только необходимый ему доступ. Это стандартные идеи безопасности, от которых мы могли бы отказаться в эпоху ИИ, но они по-прежнему актуальны как никогда.

Переосмысление методов обеспечения безопасности программного обеспечения

Это также повышает значимость передовых методов в разработке программного обеспечения. Автоматизированное, тщательное и непрерывное тестирование всегда было важным. Теперь мы можем пойти еще дальше и использовать защитные агенты ИИ для многократного тестирования эксплойтов на реальном стеке, пока ложные срабатывания не будут отсеяны, а реальные уязвимости и способы их устранения не будут подтверждены. Такой подход VulnOps, вероятно, станет стандартной частью процесса разработки.

Документация становится более ценной, поскольку она может направлять агента ИИ в поисках ошибок так же, как и разработчиков. А следование стандартным практикам и использование стандартных инструментов и библиотек позволяют как ИИ, так и инженерам более эффективно распознавать закономерности, даже в мире индивидуального и эфемерного мгновенного программного обеспечения — кода, который может быть сгенерирован и развернут по запросу.

Это будет способствовать нападению или обороне? Вероятно, в конечном итоге — обороне, особенно в системах, которые легко обновлять и проверять. К счастью, к ним относятся наши телефоны, веб-браузеры и основные интернет-сервисы. Но сегодняшние автомобили, электрические трансформаторы, холодильники и фонарные столбы подключены к интернету. Традиционные банковские и авиационные системы объединены в сеть.

Не все из них будут исправлены так быстро, как это необходимо, и мы можем наблюдать несколько лет постоянных взломов, пока не придем к новой норме: где проверка имеет первостепенное значение, а программное обеспечение постоянно обновляется.