Компания Anthropic находит ошибки быстрее, чем Microsoft может их исправить.

Компания Microsoft в спешке устраняет уязвимости, прежде чем их обнаружат хакеры.

Источник: Getty Images Источник: Getty Images

В середине мая, одним из дней дня, десятки инженеров Microsoft и их менеджеров собрались онлайн и в конференц-зале штаб-квартиры компании в Редмонде, штат Вашингтон, чтобы обсудить проект Glasswing.

Технологический гигант спешил устранить уязвимости в своем коде, которые новая модель искусственного интеллекта под названием Mythos обнаруживала с беспрецедентной скоростью. Гигант в области ИИ, компания Anthropic, разработавшая Mythos, предоставила доступ избранным организациям, создающим программное обеспечение, используемое обычными людьми, компаниями и правительствами по всему миру. Цель состояла в том, чтобы найти и исправить уязвимости до того, как хакеры и враждебные правительства, такие как Китай, начнут использовать аналогичные инструменты для их обнаружения и эксплуатации в целях шпионажа и саботажа.

Когда группа устроилась поудобнее, один из инженеров задал вопрос, который витал в воздухе на протяжении всей встречи: оправдала ли компания Mythos ожидания, которые, по словам Anthropic, она должна была вызвать?

«Да», — ответил один из менеджеров, согласно записи встречи, с которой ознакомилось издание ProPublica.

Используемая Microsoft версия Claude Mythos Preview выявляла ошибки быстрее, чем технологический гигант успевал их исправлять, и, по словам руководителя, инженеры теперь «в бешеной спешке» пытаются устранить этот пробел.

На одном из слайдов презентации в тот день было показано, что только в апреле компания Mythos обнаружила 90 «критических» и 141 «важную» ошибку в SharePoint, широко используемом программном обеспечении Microsoft для совместной работы. В первой половине мая было обнаружено еще больше ошибок.

«Пожалуйста, пожалуйста, пожалуйста, если в вашей организации есть какие-либо апрельские уязвимости, устраните их», — умолял группу руководитель инженерного отдела Ханс Андерсен. У них было примерно две недели, «чтобы найти как можно больше уязвимостей и сделать как можно больше пользы, используя этот доступ».

31 мая, пояснил он, «считается днем, когда остальной мир догонит остальных».

Инженеры, участвовавшие в звонке, подвергли сомнению это утверждение, и один из них подытожил ситуацию: «По сути, вы говорите, что если релиз состоится 1 июня, то 2 июня у противников окажутся наши уязвимости?»

«Да», — ответил один человек. «Да», — повторил другой.

С тех пор как в апреле компания Anthropic инициировала общенациональную дискуссию о возможностях искусственного интеллекта в поиске уязвимостей, когда проект Glasswing был обнародован, эксперты по национальной безопасности предсказывали, что у США появится окно возможностей для устранения недостатков до того, как у противников появятся аналогичные модели, способные обнаруживать те же уязвимости. В конце июня международный альянс разведывательных агентств, известный как «Пять глаз» (в состав которого входят США, Австралия, Канада, Новая Зеландия и Великобритания), в необычном совместном заявлении предупредил, что через несколько месяцев это окно возможностей закроется. Но запись встречи в Microsoft, а также внутренние документы, изученные ProPublica, позволяют предположить, что день киберрасплаты, возможно, уже настал.

Учитывая огромное количество обнаруженных Mythos уязвимостей, Microsoft до сих пор сосредоточилась на исправлении тех, которые считает наиболее опасными, то есть критических или важных, согласно презентации, а также собственным публичным обновлениям компании. Внутренние документы указывают на то, что Microsoft планирует в конечном итоге устранить уязвимости «средней» степени серьезности, обнаруженные Mythos. В документах не упоминались ошибки «низкой» степени серьезности.

Подход компании отражает типичную для отрасли систему сортировки пострадавших. Подобно тому, как в приемном отделении первыми оказывают помощь тяжелобольным пациентам, при сортировке уязвимостей приоритет отдается тем проблемам, которые с наибольшей вероятностью могут нанести наибольший ущерб в случае их использования хакерами.

Однако в эпоху поиска уязвимостей с помощью ИИ, когда новые инструменты выявляют рекордное количество слабых мест в продуктах, которыми мы пользуемся каждый день, эта стратегия сопряжена со своими рисками. Например, Mythos способен связывать воедино цепочку ошибок, которые накладываются друг на друга, а это значит, что неустраненные уязвимости низкой и средней степени серьезности могут создать возможность для проведения разрушительных атак.

«Проблема сейчас в том, что можно объединить четыре низкоуровневые уязвимости, и это может привести к высокой степени серьезности проблемы», — сказал Винь Нгуен, старший технический советник Anthropic и старший научный сотрудник по ИИ в Совете по международным отношениям, ранее занимавший должности главного специалиста по ИИ и главного специалиста по анализу данных в Агентстве национальной безопасности. «Если вы Microsoft, то нынешняя стратегия сортировки рисков может недооценивать их».

В ответах на вопросы ProPublica, отправленных по электронной почте, Microsoft подтвердила свой подход, заявив, что решения о приоритетности уязвимостей принимаются на основе ряда факторов, включая возможность эксплуатации уязвимостей и влияние на клиентов. В презентации компании не упоминалось о методе «цепочки уязвимостей», но представитель компании сообщил ProPublica, что этот метод «давно рассматривается как часть оценки уязвимостей и анализа рисков».

Отвечая на вопрос о внутренней презентации и приближающемся сроке 31 мая, представитель компании преуменьшил ее значение, заявив, что «ускоренное выявление и использование новых уязвимостей — не новое явление». При этом он добавил, что комментарии, сделанные во время встречи, отражают то, что компания «ощущает острую необходимость помочь своим клиентам в данный момент».

«В ходе того разговора прозвучало и подтверждается сегодня следующее: безопасность является важнейшим приоритетом Microsoft, и команды по всей компании уделяют первостепенное внимание использованию ИИ для максимально быстрого обнаружения и устранения уязвимостей».

Компания Microsoft отказалась отвечать на вопросы о том, сколько ошибок было исправлено инженерами после презентации.

Компания Anthropic отказалась от комментариев.

Внутренняя презентация Microsoft и прилагаемые слайды предсказывали, что группа сотрудников, работающих над SharePoint, используемым правительствами и предприятиями по всему миру для управления данными и документами, «будет занята в течение нескольких месяцев», сначала устраняя критические ошибки наивысшего приоритета, а затем, в августе, займясь более важными. Microsoft заявляет, что к критическим уязвимостям относятся так называемые черви, которые могут вызывать сбои в работе систем и распространять вредоносное ПО, распространяясь по компьютерным сетям. Важные уязвимости могут привести к «нарушению конфиденциальности, целостности или доступности пользовательских данных», а также к «нарушению доступности вычислительных ресурсов». После устранения этих категорий уязвимостей группа начнет работу над примерно 300 «умеренными» ошибками, согласно презентации.

Хотя внутренние документы, изученные ProPublica, не содержат обновлений по всему спектру продуктов Microsoft, они дают представление о масштабе проблемы. В одном из документов отмечалось, что с момента начала использования Mythos в начале этого года компания обнаружила сотни ошибок, которые Microsoft классифицировала как критические или важные, в популярных продуктах, таких как Microsoft 365, платформа для видеоконференций Teams и инструмент Copilot AI. По состоянию на середину мая большинство из них еще не были исправлены.

«Они не какие-то сложные или экзотические, но они реальны», — сказал Андерсен, руководитель инженерного отдела, во время совещания. «И многие из них можно использовать».

Неясно, использовали ли хакеры какие-либо конкретные уязвимости, выявленные Mythos, но некоторые из них задействовали ИИ для автоматизации атак и, по всей видимости, используют технологии, подобные Mythos, для поиска и использования слабых мест.

Внутренние проблемы Microsoft, связанные с постоянно растущим списком ошибок, требующих исправления, проявляются и во внешнем виде. Каждый месяц компания публично выпускает исправления для своих программных уязвимостей в рамках так называемого «Вторника исправлений». В июне были выпущены исправления для более чем 200 ошибок, что, по мнению экспертов отрасли, стало рекордным показателем. Но 14 июля компания побила этот рекорд, выпустив исправления для более чем 600 ошибок. Только семь из них были отнесены к категории низкой или средней серьезности, и, по словам Дастина Чайлдса, руководителя программы вознаграждения за обнаружение уязвимостей Zero Day Initiative, входящей в состав компании TrendAI, занимающейся кибербезопасностью, одна из них активно использовалась хакерами. Остальные были важными или критическими.

«Ну что ж, друзья. Вот и всё. Насекомый апокалипсис в полной мере обрушился на нас», — написал Чайлдс в своем блоге 14 июля.

Компания Microsoft сообщила ProPublica, что общий объем обнаруженных ошибок «не стабилизируется в ближайшее время», но представитель компании заявил, что компания «вложила значительные средства как в персонал, так и в решения для сортировки уязвимостей на основе искусственного интеллекта, которые быстро масштабируются для обработки растущего числа уязвимостей».

Учитывая новые реалии эпохи ИИ, включая возможности анализа цепочек уязвимостей, таким компаниям, как Microsoft, возможно, потребуется переосмыслить весь свой подход к сортировке угроз, заявил Нгуен, бывший руководитель отдела ИИ в Агентстве национальной безопасности США. По его словам, вместо того чтобы игнорировать уязвимости, которые сейчас считаются низкорисковыми, компаниям следует выделять персонал для разработки и тестирования исправлений для всего спектра уязвимостей. Другими словами, кибер-отделению скорой помощи нужно больше врачей и медсестер, которые лечат как опасные для жизни заболевания, так и незначительные раны, которые впоследствии могут стать смертельными.

«Альтернативы нет, — сказал Нгуен. — Пациенты поступают один за другим».

В интервью ProPublica представители Microsoft заявили, что компания «всегда будет пересматривать и обдумывать, следует ли улучшать или переосмысливать ранее существовавшие низкие или умеренные показатели. Системы искусственного интеллекта заставляют нас переосмысливать некоторые вещи. Вся отрасль в целом стремится понять, насколько радикальными будут эти изменения».

Пользователи Microsoft могут быть особенно уязвимы. Популярность их продуктов, используемых по всему миру, делает их частой и прибыльной целью для хакеров. Кроме того, многие из их продуктов содержат «устаревший» код. Разработанный десятилетия назад с использованием ныне устаревших технологий, этот код содержит неустраненные недостатки и способствует тому, что в отрасли известно как «технический долг».

Однако проблема исправления множества вновь обнаруженных ошибок распространяется и на остальную часть индустрии программного обеспечения, а также на код с открытым исходным кодом, который, как правило, бесплатен для использования и в значительной степени поддерживается волонтерами. Программное обеспечение с открытым исходным кодом лежит в основе интернет-инфраструктуры и интегрировано в большую часть современных технологий мира, включая продукты, предлагаемые крупными технологическими компаниями, такими как Microsoft.

«Никто толком не придумал, как с этим справиться, и все ищут решения», — сказал Дж. Майкл Дэниел, бывший советник президента Барака Обамы по кибербезопасности и президент Cyber Threat Alliance, некоммерческой организации, занимающейся вопросами кибербезопасности. «Наш технологический долг скоро будет погашен».

Бен Эдвардс, специалист по анализу данных, занимающийся управлением уязвимостями программного обеспечения, заявил, что индустрия программного обеспечения сталкивалась с «огромным объемом работы еще до появления искусственного интеллекта».

«Раньше это было всё равно что пить из садового шланга, работающего на максимальной мощности, а теперь это как пить из пожарного шланга», — сказал Эдвардс. «Возможно, у них были команды, которые могли справиться с таким садовым шлангом. А вот с пожарным шлангом — это уже совсем другое дело».

Несмотря на то, что количество уязвимостей за эти годы выросло, внутренняя группа Microsoft, ответственная за их обработку, — Центр реагирования на угрозы безопасности Microsoft, — постоянно испытывает нехватку персонала. Как сообщало издание ProPublica, даже до того, как центр столкнулся с наплывом обнаруженных с помощью ИИ ошибок, он обрабатывал сотни, а то и тысячи сообщений в месяц, что доводило группу до предела её возможностей.

Размер центра отражает корпоративную философию Microsoft: устранение уязвимостей в системе безопасности — это центр затрат, а разработка новых продуктов — центр прибыли, как утверждают бывшие сотрудники. Компания не хочет отвлекать своих лучших инженеров на создание патчей безопасности — центра затрат — вместо разработки новых продуктов и функций, которые будут приносить прибыль, сообщает ProPublica.

Компания Microsoft сообщила ProPublica, что не обсуждает внутренние кадровые решения, но в последние годы инвестировала средства, чтобы «сосредоточить работу наших команд на обеспечении безопасности наших клиентов». Представитель компании заявил, что компания «постоянно оценивает кадровые ресурсы, процессы и технологии, необходимые для поддержки реагирования на угрозы безопасности и управления уязвимостями».

Согласно слайдам, сопровождавшим внутреннюю презентацию в мае, компания Anthropic предоставила доступ к Mythos примерно 50 штатным сотрудникам Microsoft с целью «укрепить критически важные сервисы до того, как общедоступные модели смогут их догнать». На слайде под названием «Что дальше» прогнозировалось, что Центр реагирования на инциденты безопасности Microsoft будет наблюдать постоянный рост числа обращений, «по мере того, как общедоступные инструменты будут догонять» Mythos.

Во время майского совещания один из сотрудников, казалось, утешился мыслью, что у противников «нет исходного кода», который такой инструмент искусственного интеллекта мог бы проверить на наличие уязвимостей. Однако его коллеги быстро поправили его. На самом деле, за эти годы часть кода Microsoft попала в руки хакеров.

«Возможно, это не исходный код этой недели, — сказал один человек. — Но у них есть исходный код. Он существует».

В заявлении для ProPublica компания Microsoft преуменьшила значение этого комментария, заявив, что инженеры «разрабатывают наши процессы обеспечения безопасности, исходя из предположения, что целеустремленные противники могут получить доступ к коду».

Дополнительные исследования провела Дорис Берк.

Эта статья первоначально появилась на сайте ProPublica.

Источник: arstechnica.com