Все в режиме реального времени занимаются вопросами безопасности ИИ — даже Google.

Недавно мне довелось побеседовать с Франсисом де Соузой, операционным директором Google Cloud, за кулисами мероприятия в Лос-Анджелесе. Среди окружающего шума де Соуза, говорящий спокойным, размеренным тоном университетского профессора, дал полезные советы компаниям, переживающим период нестабильности в сфере безопасности ИИ, отметив, что «будет переходный период, и тогда, я думаю, мы достигнем лучшего результата».

В тот момент он говорил не о Google, но ясно, что даже Google всё ещё находится в процессе освоения новых технологий.

Главная мысль Де Соузы заключалась в том, что специалисты по безопасности годами пытались донести до руководителей, и теперь это стало особенно актуальным в связи с ИИ: безопасность не может быть второстепенным вопросом. «Когда компании начинают свой путь в области ИИ, им необходимо применять платформенный подход», — сказал он. «Безопасность — это не то, что можно добавить позже, и это не то, что можно оставить на откуп сотрудникам». Он особо предостерег от «теневого ИИ» — сотрудников, использующих потребительские инструменты без организационного контроля, — и утверждал, что компании должны с самого начала требовать от своих платформ безопасности, управления и возможности аудита. «Не может быть стратегии ИИ без стратегии работы с данными и стратегии безопасности. Они должны идти рука об руку».

Стоит отметить: он не рекламировал только Google Cloud. Когда я заметил, что его совет звучит как реклама Google, он возразил. Google, по его словам, привержен мультиоблачному подходу, и он утверждал, что компании, которые считают, что работают в одном облаке, почти наверняка таковыми не являются. «Даже если они выбирают одно облако, они полагаются на SaaS-приложения, а их деловые партнеры могут использовать разные облака», — сказал он. «Для компаний важно иметь согласованный уровень безопасности во всех облаках и моделях».

Он также утверждал, что ландшафт угроз изменился настолько кардинально, что старые модели защиты слишком медленны. Он отметил, что среднее время между первоначальным взломом и переходом к следующему этапу атаки сократилось с восьми часов до 22 секунд, и что поверхность атаки значительно расширилась за пределы традиционного сетевого периметра. «В дополнение к вашей обычной инфраструктуре, теперь у вас есть модели. У вас есть конвейеры данных, используемые для обучения моделей. У вас есть агенты, у вас есть подсказки. Все это необходимо защищать».

Одна из угроз, на которую обратил внимание де Соуза, но которой уделяется недостаточно внимания: агенты, перемещающиеся по внутренним системам компании, могут обнаружить забытые хранилища данных, о которых никто не вспоминал годами. «У многих организаций есть старые серверы SharePoint [и средства контроля доступа], которые они фактически не обновляли, но это не имело значения, потому что никто толком не знал, где они находятся. Но агенты, перемещающиеся по вашей организации, найдут эти информационные ресурсы и раскроют содержащиеся в них данные».

По его мнению, ответ заключается в том, чтобы ответить на скорость машин скоростью машин. «Сейчас мы наблюдаем появление полностью автоматизированной защиты, основанной на искусственном интеллекте, где организации могут запускать агентов, управляющих их защитой», — сказал он. «Вместо того чтобы иметь защиту, возглавляемую человеком, или даже человека, участвующего в процессе, теперь люди могут контролировать полностью автоматизированную защиту». Он добавил, что это стало вопросом лидерства, а не просто вопросом технологий. «Это вопрос на уровне совета директоров и руководящей команды. Это не просто вопрос безопасности».

Но даже несмотря на то, что ИИ берет на себя все большую часть работы по защите, специалистов, квалифицированных для контроля за ним, не хватает, а уязвимости, которые сам ИИ создает, множатся быстрее, чем команды безопасности успевают их устранять. «Нам понадобятся люди, чтобы справиться с апокалипсисом ошибок», — заявила на этой неделе в интервью New York Times главный специалист по информационной безопасности LinkedIn Леа Киснер, добавив, что она не ожидает, что отрасль сможет устойчиво и долгосрочно понимать вопросы безопасности ИИ как минимум в течение нескольких лет.

Это возвращает нас к самим поставщикам платформ. За последние несколько недель издание The Register опубликовало ряд отчетов, документирующих волну счетов, выставленных разработчикам Google Cloud на пятизначные суммы после несанкционированных вызовов API к моделям Gemini — сервисам, которые многие из них никогда не использовали или намеренно не включали. Случаи развивались по знакомой схеме: ключи API, первоначально развернутые для Google Maps и размещенные публично по собственным инструкциям Google, незаметно стали доступны для Gemini после того, как Google расширил их область действия, не сообщив об этом изменении.

Род Данан, генеральный директор платформы для подготовки к собеседованиям Prentus, заявил, что его счет достиг 10 138 долларов примерно за 30 минут после того, как злоумышленники воспользовались скомпрометированным API-ключом. Исуру Фонсека, разработчик из Сиднея, чей аккаунт также был взломан, обнаружил списания на сумму около 17 000 австралийских долларов, несмотря на то, что считал, что у него установлен лимит расходов в 250 долларов. Ни один из них не знал, что автоматизированные системы Google обновили свои тарифные планы на основе истории аккаунтов, повысив эффективный лимит расходов до 100 000 долларов без явного согласия.

После публикации первоначального отчета The Register компания Google вернула деньги обоим клиентам. Тем не менее, Google сообщила The Register, что не планирует менять свою политику автоматического повышения уровня тарифных планов, заявив, что приоритет отдается предотвращению сбоев в работе сервиса, а не соблюдению заявленных пользователями бюджетных предпочтений.

Между тем, возникает отдельный вопрос о том, что происходит, когда разработчик пытается отключить систему. На этой неделе издание The Register сообщило об исследовании компании Aikido, занимающейся вопросами безопасности, которое показало, что даже разработчики, обнаружившие скомпрометированный ключ и немедленно удали его, могут оказаться в опасности. Согласно выводам Aikido, злоумышленники, по-видимому, могут продолжать использовать этот ключ до 23 минут, поскольку отзыв ключа Google распространяется постепенно по всей инфраструктуре. Исследователь Aikido Джозеф Леон сообщил The Register, что в течение этого периода вероятность успеха непредсказуема — в некоторые минуты более 90% запросов по-прежнему аутентифицируются — и злоумышленники могут использовать это время для кражи файлов и кэшированных данных переписки из Gemini.

Леон также отметил, что собственные новые форматы учетных данных Google, похоже, не имеют той же проблемы: учетные данные API сервисных аккаунтов отзываются примерно за пять секунд, а новый формат ключей Gemini с префиксом AQ занимает около минуты. «Оба работают в масштабах Google», — написал он в соответствующей статье Aikido. «Оба предполагают, что технически это решаемо и для ключей API Google». Короче говоря, по словам Леона, 23-минутный интервал — это не инженерное ограничение, а вопрос приоритетов для компании.

Это стоит учитывать, читая советы де Соузы, которые являются разумными и к которым следует отнестись очень серьезно. Он не ошибается, но в настоящее время существует разрыв между тем, какие рекомендации дают платформы, и тем, насколько быстро они сами адаптируются, и об этом тоже полезно знать.

Источник: techcrunch.com