Компания Capital One выпустила VulnHunter, инструмент с открытым исходным кодом на основе искусственного интеллекта, который обнаруживает уязвимости в программном обеспечении раньше, чем это сделают хакеры.

Майкл Нуньес

В четверг компания Capital One выпустила VulnHunter, инструмент безопасности на основе искусственного интеллекта с открытым исходным кодом, который сканирует исходный код на наличие уязвимостей, описывает, как злоумышленник может к ним получить доступ, и предлагает целенаправленные исправления — и все это до того, как хотя бы одна строка кода будет запущена в производство. Инструмент, разработанный внутри компании и теперь доступный на GitHub под лицензией Apache 2.0, является одной из самых амбициозных попыток крупного финансового учреждения превратить возможности наступательного ИИ в общедоступный ресурс для защиты.

В условиях, когда команды безопасности сталкиваются с растущим числом новых угроз со стороны ИИ, решение Capital One открыть исходный код инструмента отражает, по словам директора по информационной безопасности Криса Нимса, стремление решить проблему «все более короткого промежутка времени, прежде чем сложные возможности атак с использованием ИИ следующего поколения станут доступными и недорогими практически для любого противника».

Capital One выпускает не просто очередной сканер уязвимостей. VulnHunter представляет то, что компания называет «анализом с учетом действий злоумышленника» — рабочий процесс, в котором инструмент начинает с точек, где реальный противник мог бы проникнуть в систему, таких как API, сетевые сообщения или загрузка файлов, и анализирует логику приложения, чтобы определить, действительно ли путь эксплуатации проходит через существующие средства защиты кода. Традиционные сканеры обычно работают в обратном порядке, отмечая опасный на вид шаблон кода, а затем ищут гипотетического злоумышленника в обратном направлении. Такой подход, как широко признают специалисты по безопасности, заваливает инженерные команды лавиной ложных срабатываний.

VulnHunter решает эту проблему напрямую с помощью второго нововведения: встроенного «механизма фальсификации», который пытается опровергнуть собственные выводы еще до того, как разработчик их увидит. После обнаружения потенциальной уязвимости, структурированный алгоритм анализа выявляет логические пробелы, необоснованные предположения и условия, которые могли бы помешать успешной атаке. Только те выводы, которые механизм не смог исключить, попадают к эксперту — и в этом случае VulnHunter предоставляет не просто предупреждение, но и полное объяснение пути эксплойта и предлагаемое исправление кода, готовое для проверки инженерами.

В настоящее время инструмент работает на модели Claude Opus 4.8 от Anthropic в среде Claude Code, хотя Capital One заявляет, что эта платформа потенциально может работать и с другими базовыми моделями и платформами для программирования.

Почему Capital One раздает этот инструмент бесплатно

На вопрос о том, почему Capital One решила сделать исходный код столь важного инструмента открытым, Нимс указал на коллективный характер проблемы.

«Мы посчитали необходимым открыть исходный код VulnHunter, потому что современные цепочки поставок программного обеспечения очень взаимосвязаны, а масштаб угрозы со стороны ИИ превышает возможности любой отдельной организации», — сказал Нимс в интервью VentureBeat. «Защита программного обеспечения и нашей цифровой среды — это общая основа, которая приносит пользу разработчикам, предприятиям и людям, которые зависят от систем, которые мы все создаем. Инструменты защиты, призванные противостоять этой реальности, должны быть так же широко распространены, протестированы и усовершенствованы, как и кодовые базы, которые они защищают».

«Вместо того чтобы ждать, — добавил он, — мы решили, что правильным решением будет создать продукт, специально разработанный для современной сложной системы безопасности, и предоставить его в распоряжение специалистов по защите данных по всему миру».

Почему Capital One считает, что открытый исходный код VulnHunter укрепляет защиту всех пользователей

Тем не менее, публикация произошла на фоне ситуации, хорошо знакомой компании. 19 июля 2019 года Capital One сообщила, что сторонний пользователь — позже идентифицированный как бывшая сотрудница Amazon Web Services по имени Пейдж Томпсон — получил несанкционированный доступ к именам, адресам, заявленным доходам, номерам социального страхования и номерам связанных банковских счетов клиентов и заявителей на получение кредитных карт. Взлом, который, по данным Capital One, произошел 22 и 23 марта 2019 года, был обнаружен только после того, как 17 июля того же года внешний исследователь безопасности выявил уязвимость в конфигурации через программу ответственного раскрытия информации компании.

Ущерб был колоссальным. Пострадали около 100 миллионов человек в США и 6 миллионов в Канаде. Были скомпрометированы примерно 140 000 номеров социального страхования, около 80 000 номеров связанных банковских счетов и около 1 миллиона канадских номеров социального страхования. ФБР арестовало Томпсона, и правительство заявило, что, по его мнению, данные были восстановлены и нет доказательств мошенничества. Но ущерб репутации и нарушения законодательства были огромными.

В августе 2020 года Управление контролера денежного обращения (OCC) оштрафовало Capital One на 80 миллионов долларов, установив, что банк не смог должным образом выявить и управлять рисками при переносе значительных технологических операций в облако. Как сообщало тогда агентство Reuters, в постановлении OCC указывалось на недостаточные меры контроля сетевой безопасности, неадекватные меры предотвращения потери данных и неспособность совета директоров привлечь руководство к ответственности, когда внутренний аудит выявил проблемы. OCC также обязало Capital One пересмотреть свою деятельность и представить новые планы кибербезопасности на рассмотрение регулирующих органов.

В то время издание CyberScoop назвало инцидент «поучительной историей для компаний, спешащих внедрять новые технологии». Генеральный директор Capital One, Ричард Д. Фэрбэнк, признал серьезность ситуации. «Хотя я благодарен за то, что преступник был пойман, я глубоко сожалею о случившемся», — сказал тогда Фэрбэнк. «Я искренне извиняюсь за понятное беспокойство, которое этот инцидент, должно быть, вызывает у пострадавших, и я полон решимости исправить ситуацию».

Подробности десятилетней стратегии Capital One в области открытого исходного кода — и что VulnHunter добавляет к ней.

За этим последовал не отказ от технологий, а, наоборот, усиление акцента на безопасности, которая была поставлена в центр внимания.

Компания Capital One начала выпускать проекты с открытым исходным кодом в 2014 году и в 2015 году объявила себя компанией, ориентированной на «открытый исходный код», в рамках более широкой технологической трансформации, начавшейся более десяти лет назад. Компания продолжает инвестировать в безопасность цепочки поставок программного обеспечения, управление открытым исходным кодом и защиту на основе искусственного интеллекта. В августе 2022 года Capital One присоединилась к Open Source Security Foundation в качестве ведущего члена, получив место в Совете управляющих организации. Крис Нимс, тогдашний исполнительный вице-президент по облачным и продуктивному проектированию, назвал этот шаг естественным продолжением операционной философии компании. «Как компания, деятельность которой строго регулируется, мы имеем большой опыт в управлении соответствием требованиям и корпоративным управлением и выступаем за стандартизацию, автоматизацию и сотрудничество», — сказал Нимс в заявлении OpenSSF.

За этим публичным обязательством стоял внушительный оперативный аппарат. Офис программ открытого исходного кода Capital One, который сейчас находится в третьей итерации, управляет использованием открытого исходного кода, вкладом в него и развитием сообщества в масштабах всей компании. По данным компании, она выпустила более 40 проектов с открытым исходным кодом и внесла тысячи вкладов во внешние проекты с открытым исходным кодом, от которых зависит. Эти усилия касаются не только зависимостей кода, но и всего жизненного цикла разработки программного обеспечения — инструментов DevSecOps, инфраструктуры и сред для совместной работы, как внутренних, так и внешних, которые определяют, как создается и распространяется программное обеспечение.

VulnHunter — это самый значимый продукт многолетней работы, и его выпуск отражает распространённый среди крупных предприятий расчёт: в сфере безопасности бесплатное предоставление инструмента обходится дешевле, чем борьба в одиночку. «В конечном итоге наша цель — сделать этот продукт максимально доступным», — сказал Нимс.

Компания утверждает, что современные цепочки поставок программного обеспечения настолько тесно взаимосвязаны, что одна уязвимость в широко используемом компоненте с открытым исходным кодом может одновременно распространиться на тысячи предприятий. Собственные средства защиты, какими бы сложными они ни были, не могут решить проблему, которая по своей сути является общей. Выпуская VulnHunter под разрешительной лицензией, Capital One приглашает мировое сообщество исследователей в области безопасности к стресс-тестированию, расширению и улучшению инструмента — фактически, используя краудсорсинг для создания собственной инфраструктуры защиты и укрепления более широкой экосистемы.

Внутри трехэтапного механизма искусственного интеллекта VulnHunter для поиска уязвимого кода

Для руководителей инженерных отделов, оценивающих VulnHunter, именно техническая архитектура позволяет в полной мере оценить потенциал инструмента. Рабочий процесс разворачивается в три отдельных этапа.

На первом этапе — анализе с учетом действий злоумышленника — VulnHunter начинает с точек взаимодействия внешнего противника с системой: конечных точек API, обработчиков сетевых сообщений, интерфейсов загрузки файлов. Начиная с каждой точки входа, инструмент анализирует логику приложения, отслеживая потоки данных, преобразования и внутренние контрольные точки безопасности, чтобы определить, может ли злоумышленник действительно получить доступ к опасному участку кода. Этот подход имитирует действия опытного специалиста по тестированию на проникновение, но автоматизирует процесс в масштабе, недостижимом для любой команды специалистов.

Второй этап — это то, где VulnHunter наиболее резко отличается от традиционных сканеров. После выявления потенциальной уязвимости механизм проверки фальсификации запускает структурированный алгоритм анализа, предназначенный для опровержения собственных выводов. Он ищет несоответствующие предположения, логические пробелы в пути эксплойта и условия окружающей среды, которые могли бы помешать успешной атаке. Находки, не прошедшие эту внутреннюю проверку, отбрасываются до того, как их увидят разработчики. Явная цель Capital One — снять с разработчиков бремя обработки ложных срабатываний — извечная проблема, которая подрывает доверие к инструментам безопасности и замедляет темпы разработки.

На третьем этапе уязвимости, которые остаются незамеченными после проверки механизма фальсификации, запускают рабочий процесс устранения, подкрепленный доказательствами. VulnHunter собирает подтверждающие доказательства по всей кодовой базе, отображает полный путь эксплуатации уязвимости, объясняет дефект и конкретные возможности, которые получит злоумышленник, и генерирует целевые изменения кода для инженерной проверки. Результатом является не общее уведомление, а конкретное, контекстно-зависимое предложение по исправлению.

Компания Capital One заявляет, что провела внутреннюю проверку VulnHunter перед выпуском, протестировав его на тысячах репозиториев, охватывающих десятки бизнес-подразделений. Компания сообщает, что инструмент выявлял и устранял уязвимости со скоростью и эффективностью, значительно превосходящими те, которых ранее достигали ее команды с помощью ручной обработки данных.

Почему атаки с использованием ИИ вынуждают банки переосмыслить традиционные методы киберзащиты

VulnHunter появляется в момент, когда ландшафт кибербезопасности меняется прямо у ног каждого предприятия. В заявлении Capital One эта проблема обозначена в резких выражениях: передовые модели ИИ «значительно снизили барьер для злоумышленников, желающих обнаружить и использовать уязвимости в программном обеспечении», и окно возможностей, через которое сложные методы атак с использованием ИИ станут доступными практически для любого противника, быстро сужается.

«Защита информации имеет важное значение для нашей миссии и нашей роли как финансового учреждения», — сказал Нимс в интервью VentureBeat. «Мы вложили значительные средства в кибербезопасность и будем продолжать это делать, чтобы оставаться на шаг впереди постоянно меняющегося ландшафта угроз».

Собственные исследователи компании в области безопасности ИИ внимательно следят за этими тенденциями. На конференции NeurIPS 2024 в Ванкувере команда Capital One представила результаты своих исследований и составила список из почти 100 статей, охватывающих безопасность LLM, устойчивость к атакам, взлому джейлбрейка и генерацию синтетических данных. Представленные ими статьи — включая работы по многоагентным защитным структурам, автоматизированному тестированию на проникновение и классификаторам защитных механизмов — рисуют картину гонки вооружений, в которой наступательные и оборонительные возможности ИИ развиваются с головокружительной скоростью.

Некоторые из этих исследовательских тем напрямую связаны с архитектурой VulnHunter. Механизм фальсификации перекликается со стратегиями защиты от атак, исследованными в таких работах, как «BackdoorAlign», где было показано, что внедрение структурированного механизма безопасности в небольшое количество обучающих примеров может восстановить соответствие модели требованиям безопасности без ухудшения производительности. Анализ с приоритетом на атакующего отражает философию «WildTeaming», фреймворка, который собирает и анализирует реальные попытки взлома для создания более устойчивых моделей. А акцент VulnHunter на минимизации ложных срабатываний параллелен целям «GuardFormer», классификатора защитных механизмов, который превзошел GPT-4 по показателям безопасности, работая в 14 раз быстрее.

Объединяющим звеном всей этой работы является убеждение, что традиционная, реактивная безопасность — мониторинг сетей, устранение известных уязвимостей, реагирование на инциденты после их возникновения — больше не достаточна, когда злоумышленники могут использовать ИИ для обнаружения и эксплуатации уязвимостей нулевого дня со скоростью машин. Единственная надежная защита, как утверждает Capital One, — это обнаружение и устранение уязвимостей в собственном коде до того, как их обнаружат злоумышленники.

Что опыт Capital One в области облачной безопасности говорит о всей банковской индустрии в целом

Переход Capital One в облако также проливает свет на более широкую проблему, затрагивающую весь финансовый сектор. Когда Capital One в середине 2010-х годов активно перешла на Amazon Web Services, это было редкостью среди крупных банков. Большинство финансовых учреждений просто не доверяли третьим сторонам хранение своих наиболее конфиденциальных данных. Тогдашний директор по информационным технологиям Capital One, Роб Александр, публично заявлял, что облако более безопасно, чем собственные центры обработки данных банка — утверждение, которое утечка данных в 2019 году значительно усложнила.

В отчете CyberScoop того периода отражена напряженность внутри отрасли. У. Патрик Опет, управляющий директор по кибербезопасности в JP Morgan Chase, описал культурный сдвиг в банковской сфере от приоритета трейдерам к приоритету разработчикам: «Теперь это „Сосредоточьтесь на разработчике, превратите все в код и автоматизируйте все“». Марк Николсон, руководитель направления кибербезопасности в финансовой отрасли в Deloitte, отметил, что давление, требующее быстрых действий, выявляло «слабые места в методологии разработки». А сам взлом стал напоминанием о том, что даже несмотря на то, что Chase ежегодно тратит 600 миллионов долларов на кибербезопасность, относительно простые уязвимости — такие как ошибка Apache Struts, которая привела к взлому Equifax — могут подорвать масштабные инвестиции в защиту данных.

Семь лет спустя отрасль в значительной степени последовала примеру Capital One и перешла в облако, и проблемы безопасности только усилились. Вопрос уже не в том, следует ли использовать облачную инфраструктуру, а в том, как защитить программное обеспечение, работающее на ней. VulnHunter представляет собой часть ответа Capital One на этот вопрос: вместо того, чтобы полагаться исключительно на сетевые средства контроля и периметровую защиту, безопасность внедряется непосредственно в сам код, в момент его написания. Выпуск с открытым исходным кодом также подразумевает неявное конкурентное давление. Если VulnHunter получит распространение среди разработчиков и команд безопасности, он может установить новый базовый уровень того, что ожидается от инструментов корпоративной безопасности, и заставить конкурирующие банки, финтех-компании и облачных провайдеров соответствовать или превосходить его возможности.

Оправдает ли VulnHunter эти амбиции, будет зависеть от его распространения, вовлеченности сообщества и реальной эффективности инструмента в борьбе со все более изощренными атаками на основе искусственного интеллекта, против которых он был разработан. Но сам релиз рассказывает историю, которая выходит далеко за рамки какого-либо отдельного инструмента или какой-либо отдельной компании. В 2019 году неправильно настроенный межсетевой экран веб-приложений — использованный вместе с чрезмерно разрешительной ролью доступа к облаку — раскрыл данные примерно 100 миллионов американцев, привел к штрафу в размере 80 миллионов долларов и стал одним из наиболее часто упоминаемых инцидентов в области облачной безопасности в отрасли.

В 2026 году это же учреждение открывает исходный код системы защиты на основе искусственного интеллекта, созданной для нового поколения угроз, и делает ставку на то, что лучший способ защитить собственный код — это помочь всей отрасли защитить свой.

Источник: venturebeat.com