Как механизмы защиты от угроз со стороны ИИ препятствуют работе исследователей в области наступательной кибербезопасности

В течение нескольких месяцев гиганты в области искусственного интеллекта разрабатывали специальные проверенные программы и строгие меры контроля, чтобы ограничить использование их моделей злонамеренными хакерами. Но теперь эти ограничения препятствуют работе как легитимных специалистов по сетевой защите, так и исследователей в области кибербезопасности.

В июне правительство США ввело экспортные ограничения на широко разрекламированные модели искусственного интеллекта Mythos и Fable компании Anthropic. Этот шаг был вызван, по крайней мере частично, сообщением, в котором утверждалось, что можно обойти механизмы защиты моделей, предназначенные для предотвращения использования их пользователями для создания и осуществления вредоносных кибератак.

Независимо от того, действительно ли инцидент был мотивирован опасениями по поводу взлома, факт остается фактом: Anthropic неоднократно позиционировала Mythos как некую кибермашину судного дня, которую можно передать только тщательно проверенным пользователям, и даже в этом случае со строгими мерами предосторожности. (Экспорт Fable 5 и Mythos 5 был впоследствии снят. Fable 5 вернулась в общий доступ 1 июля; Mythos 5 была повторно представлена только проверенным организациям США в рамках процесса проверки со стороны правительства.)

Подобные ограничения доступа не являются уникальными для Mythos. Как Anthropic со своими другими моделями, так и OpenAI предлагают исследователям кибербезопасности программы, по которым они могут подать заявку для проверки и — в случае одобрения — получить доступ к моделям с меньшими ограничениями в области кибербезопасности: программа OpenAI Trusted Access for Cyber и программа Anthropic Cyber Verification Program.

Эти меры предосторожности подверглись широкой критике, особенно со стороны исследователей, чья работа заключается в поиске неизвестных уязвимостей в системах и разработке способов их использования до того, как это сделают преступники.

В ходе недавнего выступления на подкасте по кибербезопасности известный исследователь в этой области Марк Доуд заявил: «Мне не очень комфортно от того, что эти случайные крупные компании принимают произвольные решения о том, что безопасно, а что нет».

Дауд десятилетиями занимался поиском и продажей «уязвимостей нулевого дня» — ранее неизвестных уязвимостей программного обеспечения и эксплойтов, использующих их, — западным правительствам, вместо того чтобы сообщать о них разработчикам программного обеспечения для их устранения. Правительства платят высокую цену за уязвимости именно потому, что они остаются открытыми, что полезно для разведывательных операций.

Дауд признал, что его работа может быть предвзятой, но он не одинок. Несколько человек, работающих в сфере наступательной кибербезопасности — они активно исследуют системы на предмет уязвимостей — рассказали TechCrunch о том, как они используют инструменты искусственного интеллекта и работают с их защитными механизмами.

Крис Энли, главный научный сотрудник консалтинговой компании NCC Group, специализирующейся на вопросах безопасности, заявил, что просьба к модели ИИ попытаться использовать уязвимость является ключевым шагом в подтверждении того, что это действительно уязвимость, которую стоит устранить. Но если механизм контроля заставляет модель отказаться отвечать на вопрос напрямую, этот механизм вредит специалистам по защите, сказал он.

«Здесь и проявляется вся суть противостояния наступательных и оборонительных мер, а также механизмов защиты, потому что подсказка „исправьте этот код“ является одновременно и важным механизмом защиты, и планом действий для выявления критических уязвимостей в кодовой базе», — сказал Анли. «Таким образом, один и тот же инструмент является одновременно и наступательным, и оборонительным, и эти два аспекта нельзя разделить».

«Это как молоток», — продолжил он. «Без молотка дом не построишь. Это, безусловно, инструмент, но, несомненно, и оружие».

Когда он и его коллеги сталкиваются с подобными препятствиями, они иногда прибегают к моделям ИИ с открытым исходным кодом, которые вообще не имеют никаких ограничений.

Паоло Стагно, технический директор CrowdFense, известной компании, которая разрабатывает, приобретает и продает неизвестные уязвимости государственным учреждениям, согласился с Даудом, заявив, что компании, занимающиеся искусственным интеллектом, «по сути, относятся к клиентам как к детям, за которыми нужно присматривать», используя проверенные программы и механизмы защиты.

Станьо сказал, что он и его коллеги используют модели, находящиеся на стыке технологий, — но только для обратного проектирования. По его словам, они избегают использования ИИ для поиска уязвимостей или создания эксплойтов, поскольку передача результатов этой работы в облачную модель сопряжена с риском утечки конфиденциальных данных об уязвимостях или их включения в будущие циклы обучения. Для этого этапа, по его словам, они используют модели с открытым исходным кодом, запускаемые локально, поскольку не зависят от обмена данными за пределами модели.

Джузеппе Кали, исследователь в области безопасности, который находит уязвимости нулевого дня и разрабатывает эксплойты, заявил, что никакие ограничения не мешают его работе. Это потому, что он не использует ИИ для наступательных операций; вместо этого он использует его для первоначального обратного проектирования, чтобы понять анализируемый код и создать вспомогательные инструменты. По его словам, для этого инструменты ИИ могут ускорить процесс и позволить ему сосредоточиться на обнаружении уязвимостей.

«Я по-прежнему хочу сам заниматься обнаружением и созданием оружия из насекомых, и это не изменится, даже если завтра снимут все ограничения», — сказал Кали. «Я завидую своим насекомым, и мне слишком нравится эта игра, чтобы позволять моделям играть в неё за меня».

Один из исследователей, работающих на предприятии по производству компонентов для смартфонов, который говорил на условиях анонимности, поскольку не уполномочен общаться с прессой, заявил, что его работодатель не участвует в программе CVP компании Anthropic, и поэтому ее инструменты практически бесполезны для поиска уязвимостей, поскольку защитные механизмы слишком строгие.

«Если станет известно, что мы занимаемся чем-либо, связанным с безопасностью, то всё просто прекратится, и система станет непригодной для использования», — сказал этот человек.

Крис Томпсон — генеральный директор компании RemoteThreat, занимающейся кибербезопасностью, и основатель Offensive AI Con, мероприятия, посвященного наступательной безопасности и искусственному интеллекту, — заявил, что, по его опыту использования передовых моделей ИИ, механизмы защиты могут быть непоследовательными и работать по-разному каждый день. Это справедливо даже в рамках более гибких правил, установленных в программах Anthropic и OpenAI.

«Я думаю, что на практике это приводит к тому, что вы тратите много времени на согласование с моделью, вместо того чтобы работать над основной программой безопасности», — сказал Томпсон. «Вместо того чтобы анализировать уязвимость и разбираться в возможностях ее использования, вы пытаетесь выяснить, почему получаете противоречивые результаты или почему модели чрезмерно очищают выходные данные».

В результате исследователи полагаются на китайские модели с открытым исходным кодом, такие как GLM, или вынуждены использовать их — модели, которые можно бесплатно загрузить и запустить локально без проверки или ограничений на использование, — сказал Томпсон.

«Эти ответственные исследователи вынуждены переходить из систем, управляемых США, в системы, принадлежащие иностранным компаниям», — сказал он. «Я думаю, что наличие таких ограничений приносит больше вреда, чем пользы».

Вместо дальнейшего ужесточения ограничений Томпсон призвал передовые лаборатории в области ИИ открыть свои программы, обеспечить ответственный доступ и привлечь к ответственности тех, кто злоупотребляет их инструментами. В противном случае, утверждал он, защитники проиграют гонку за ИИ.

«Надвигается огромная буря. Надвигается мощная волна атак, которые будут происходить с беспрецедентной скоростью и в беспрецедентных масштабах», — сказал Томпсон. «Но те же самые консалтинговые фирмы в сфере безопасности и добросовестные исследователи, которые пытаются изменить ситуацию к лучшему, сейчас сталкиваются с препятствиями».

Источник: techcrunch.com