Почему Sophos превратилась в собственную лабораторию тестирования искусственного интеллекта
Каждый поставщик решений в области безопасности расскажет вам об искусственном интеллекте в своих продуктах. Гораздо меньше компаний расскажут вам, как их собственные сотрудники используют ИИ — какие агенты работают в их инженерных конвейерах, к каким данным эти агенты могут обращаться и кто решил, что это допустимо. На наш взгляд, второй аспект не менее важен. Принимая решение от поставщика, вы не просто наследуете его программное обеспечение; вы наследуете его суждения. Поэтому вот как Sophos внедряет ИИ внутри компании: как мы оцениваем риски, как мы ими управляем и чему мы еще учимся.
Почему мы работаем на передовой
Для компании, занимающейся вопросами безопасности, было бы легко проявить осторожность — позволить другим совершать ошибки и извлечь уроки из них. Мы же намеренно заняли противоположную позицию: для Sophos больший риск заключается в бездействии. Наши клиенты уже сейчас развертывают ИИ-агентов в производственной среде. Если мы хотим продолжать защищать их, мы должны понимать риски из первых рук — в идеале, до того, как они с ними столкнутся.
Мы используем ИИ в производственной среде, потому что невозможно защититься от того, с чем никогда не сталкивались. Пути внедрения подсказок, вызовы инструментов с избыточными привилегиями, нечеловеческие идентификаторы, незаметно накапливающие доступ — всё это становится интуитивно понятным только после того, как вы запустили агентов в реальных условиях, наблюдали за их сбоями и отладили эти сбои. Именно поэтому мы направляем инструменты для работы с агентами на нашу собственную инфраструктуру раньше, чем на чужую: мы запустили автономную агентскую систему во внутренней сети, чтобы посмотреть, чего она может достичь, использовали модели для поиска уязвимостей в наших собственных продуктах до того, как злоумышленники получат аналогичные преимущества, и переосмыслили концепцию вознаграждений за обнаружение ошибок, когда их находит ИИ. Все полученные знания улучшают качество обнаружения уязвимостей и определяют дальнейшее развитие продуктовой линейки для поддержки наших клиентов.
Это справедливо для всей компании, но вдвойне для команды безопасности. Если команда безопасности не может понять, как безопасно и быстро внедрить ИИ, трудно представить, кто сможет это сделать. Организация, ответственная за информационную безопасность, которая запрещает то, чего не понимает, рискует через пару лет практически ничего не понимать. А с учетом уже надвигающегося потока уязвимостей, ускоряемого ИИ, справиться с ними придется тем специалистам по защите, которые уже обладают необходимым пониманием.
Как мы воспринимаем риск: компас, а не контрольный список.
Действовать на опережение без должного анализа — это просто безрассудство. Внутри компании наша философия управления рисками умещается на одной странице и выражается семью словами: принимать более разумные риски, добиваться результатов быстрее, завоевывать доверие. Суть в ней — различие между хорошими и плохими рисками. Хорошие риски имеют значительный потенциал роста, ограниченный радиус поражения, обратимый путь, конкретного ответственного и гипотезу, из которой мы действительно извлечем уроки. Плохие риски имеют неограниченный вред, отсутствие плана восстановления, неясную ответственность — или они обходят стороной человеческий фактор: автоматизированные или агентные изменения, которые напрямую затрагивают клиентов без достаточного контроля, являются плохим риском независимо от предлагаемой выгоды.
Большинство решений не декларируют себя ни как те, ни как другие. Поэтому мы соотносим каждую ставку с простым компасом — двумя осями: потенциал роста (высокий или низкий) и потенциал снижения (ограниченный или неограниченный).
Рисунок 1: Компас рисков Sophos
Реальность такова, что большинство современных ставок на агентный ИИ начинаются в верхнем правом квадранте: высокий потенциал роста, неограниченные риски. Задача состоит в том, чтобы сузить радиус поражения, пока он не сместится влево: сначала доступ только для чтения, затем запись, затем внутренние процессы, затем взаимодействие с клиентами, один рабочий процесс, затем целый парк приложений. Работа заключается в снижении рисков, а не в контроле доступа. Вокруг компаса расположены пять незыблемых принципов — доверие клиентов, безопасность, конфиденциальность и операционная стабильность — с юридическими и нормативными требованиями, пронизывающими каждый из них. Бескомпромиссная позиция по этим вопросам — именно то, что позволяет нам быть агрессивными во всех остальных областях. При оценке стратегии любого поставщика в области ИИ, следует обращать внимание на следующую структуру: четкая структура для принятия решения «да», подкрепленная ясными границами для отказа.
Совет по безопасности ИИ: управление со скоростью внедрения
Структура имеет значение только в том случае, если на её основе принимаются реальные решения. Примеры использования ИИ появлялись быстрее, чем любой традиционный цикл управления мог их обработать, и они редко соответствовали классической оценке поставщика или проверке безопасности. Наше решение — это Совет по безопасности ИИ: небольшая межфункциональная группа специалистов — по безопасности, разработке, продуктам, ИТ, юриспруденции, кадрам и работе с клиентами — возглавляемая мной как директором по информационной безопасности. По своей сути, он ориентирован на принятие решений: ежемесячные 30-минутные встречи, реальная работа происходит асинхронно, а его задача — быстро принимать практические решения по новым или высокорискованным вариантам использования ИИ — новым инструментам, рабочим процессам агентов, возникающим моделям рисков.
Важно отметить, что совет находится выше наших процессов оценки рисков поставщиков и анализа безопасности, а не заменяет их. Эти конвейеры продолжают обрабатывать хорошо изученные случаи в большом объеме. Когда появляется что-то новое или действительно неоднозначное — агент с необычным профилем привилегий, сценарий использования, не имеющий прецедента, — это передается наверх, и ответ совета возвращается вниз в виде постоянных рекомендаций, обновляемых практически в режиме реального времени. Внутри компании мы используем следующую формулировку: если вы не уверены, как что-то сделать с ИИ, используйте существующие каналы; если вы не уверены, следует ли это делать, спросите совет. Инструменты и шаблоны намеренно классифицируются по простоте — разрешить, исследовать, допустить, запретить — оставаясь гибкими и пересматриваясь по мере обучения.
Когда совет директоров замечает закономерности в схожих запросах, он разрабатывает политику, которая определяет границы, а не перечисляет инструменты. Наша первая действующая политика касалась локальных моделей ИИ: все, что соответствует критерию «данные не покидают устройство», больше не требует проверки безопасности для каждого инструмента отдельно. После вступления этой политики в силу мы закрыли очередь отдельных заявок на проверку, которые она заменила. Управление, которое сокращает объем необработанных заявок на проверку, получает совершенно иную репутацию, чем управление, которое его увеличивает.
И поскольку мы должны следовать своим принципам, сам совет директоров работает на основе искусственного интеллекта. Общий ИИ-агент выступает в качестве его административного подразделения: он подводит итоги обсуждений, отслеживает действия и направляет ответственных лиц, составляет повестки дня, документы с изложением политики и общекорпоративные сообщения, а также заблаговременно выявляет интересные материалы, связанные с ИИ, из процесса проверки наряду с соответствующими внешними инцидентами. Каждый внешний документ проходит процедуру утверждения — агент составляет проект, член совета директоров утверждает его, прежде чем он будет опубликован. Старшие сотрудники тратят свое время на принятие решений; агент берет на себя организационные вопросы. Это, намеренно, живая демонстрация операционной модели, которой мы просим следовать остальную часть бизнеса. Если вы клиент и задаетесь вопросом, как утверждается новый вариант использования ИИ в Sophos, — вот механизм и скорость его работы.
Самое сложное: модели безопасности еще только формируются.
Вот о чём поставщики обычно не говорят вслух: никто ещё не до конца разработал шаблоны безопасности для этого — включая нас. Инженерные команды продвинулись дальше. Вырисовываются чёткие схемы разработки для создания приложений с использованием ИИ. У команд безопасности пока нет аналогичного руководства. Как проводить проверку безопасности рабочего процесса агента, который переписывается еженедельно? Как выглядит реагирование на инцидент в случае взлома агента? Как отслеживать группу нечеловеческих личностей, которые действуют, а не просто предлагают? Сейчас на эти вопросы в основном отвечают с помощью экспертной оценки, а не шаблонов — и притворство в обратном никому не помогает.
В статье «Работа в условиях смертельной триады» я писал об одном аспекте этого пробела: наиболее эффективные развертывания агентов сочетают в себе частные данные, недоверенный контент и внешнюю связь — именно то сочетание, которое делает быстрое внедрение опасным, — поэтому практическая задача заключается в уменьшении радиуса взрыва, а не в улучшении качества шаблонов. Внутри компании это означает рассмотрение среды агентов как первоклассной поверхности безопасности — централизованное управление платформами ИИ, телеметрия активности агентов, обнаружение аномального поведения агентов — заложенное с самого начала, а не добавленное позже. Мы продолжим публиковать то, что работает, и, что не менее важно, то, что не работает.
К сожалению, наша попытка предложить некоторые технические меры по снижению рисков также подчеркнула сложность этой проблемы. Как недавно написал наш генеральный директор Джо Леви о «черте бедности» в сфере кибербезопасности, из примерно 359 миллионов предприятий в мире менее 35 000 имеют в штате директора по информационной безопасности (CISO). Разработка мер по снижению рисков в рамках подхода «летальной тройки» — это именно та сложная задача, которую организации, находящиеся ниже этой черты и не имеющие CISO или аналогичной должности, не могут выполнить. Эта реальность также влияет на нашу работу над продуктом: большая часть идей, лежащих в основе Sophos Fusion, заключается в том, чтобы внедрить это суждение в саму систему защиты, чтобы организации, которые не могут выполнить эту работу, не были вынуждены выбирать между запретом ИИ и подверженностью ему. Но это тема для другой статьи. Суть здесь очевидна: закономерности проявляются — и мы будем продолжать делиться нашими по мере их формирования.
Что это значит, если вы оцениваете нас — или кого-либо еще?
Всё это не означает, что Sophos закончила разбираться с ИИ; это означает, что мы делаем это целенаправленно, открыто, опережая угрозу, а не отставая от неё. Если вы взвешиваете любого поставщика — включая нас — вопросы об ИИ, которые стоит задать, касаются не названий моделей. Спросите, кто решает, когда новый вариант использования ИИ приемлем, и сколько времени занимает это решение. Спросите, что они не позволяют делать ИИ и могут ли они обозначить границы. Спросите, чему они научились на примере неудачного эксперимента с ИИ. Поставщики, которые всё это обдумали, как правило, дают чёткие ответы; те, кто просто запретил ИИ или просто дал ему волю, часто этого не делают.
Мы уже писали о высокой цене низкого уровня доверия, и эта статья является частью того же принципа: мы показываем результаты нашей работы, а не просто выводы. Разумные риски накапливаются. То же самое происходит и с доверием — и то, и другое зарабатывается одинаково: обдуманно, прозрачно и публично.
Оцените материал:
