Иголка в стоге сена: Охота на похитителей информации с помощью ИИ.

На конференции NorthSec 2026 ведущий специалист по анализу данных компании Sophos Франсуа Лабреш выступил с докладом под названием «Иголка в стоге сена: выявление атаки с использованием вредоносного ПО на основе триллионов событий в крупномасштабном современном центре оперативного управления безопасностью».

Данное исследование посвящено одной из самых серьезных проблем, с которыми сегодня сталкиваются аналитики центров оперативного управления безопасностью (SOC): усталости от оповещений, вызванной большим количеством оповещений о безопасности, которые необходимо обрабатывать, причем многие из них неактуальны или безобидны.

В некоторых предыдущих исследованиях рассматривались способы снижения количества ложных срабатываний и шума в системах оповещения центров оперативного управления безопасностью (SOC), однако существуют два постоянных ограничения, которые противоречат реалиям современных крупномасштабных SOC:

1. Опубликованные подходы часто фокусируются на оповещениях систем обнаружения вторжений (IDS).
2. Масштаб наборов данных в предыдущих исследованиях не в полной мере отражает размер современных крупных центров мониторинга безопасности (SOC), поскольку размеры таких наборов данных часто варьируются от 100 000 до 10 миллионов событий/оповещений (примеры: 1, 2, 3, 4, 5, 6).

Франсуа предложил альтернативный, более реалистичный подход: многоуровневые системы обнаружения и фильтрации возрастающей сложности, нацеленные на разные уровни конвейера оповещения.

Чтобы продемонстрировать, как многоуровневый подход может помочь в поиске угроз, Франсуа использовал двухнедельный период оповещений из нашей телеметрии, включающий триллионы событий, и объединил дедупликацию оповещений, отдельные детекторы на основе правил и машинного обучения, подавление оповещений и модель приоритезации оповещений на основе контролируемого машинного обучения, чтобы значительно снизить уровень шума.

В результате этого сокращения Франсуа продемонстрировал, как можно точно определить подлинную атаку с использованием похитителей информации.

Рисунок 1: Общий вид многоэтапного конвейера обработки данных.

Конвейер оповещений

Для сбора тестовых данных Франсуа использовал телеметрию от Taegis XDR, которая обрабатывает более 800 миллиардов событий ежедневно. За выбранный двухнедельный период это составляет ошеломляющие 11,8 триллионов событий. Эти события поступают из различных источников и включают в себя аутентификации, изменения файлов, активность процессов, оповещения IDS и многое другое.

Детекторы

Первый этап в системе оповещения — это детекторы. Их цель — выявлять потенциальные угрозы в данных безопасности клиентов. Учитывая множество различных векторов угроз, детекторы используют несколько разных подходов, различающихся по сложности. Они делятся на четыре категории:

Простые индикаторы и правила

Это самые простые фильтры, ориентированные на типичные совпадения индикаторов компрометации (IOC) на основе строковых совпадений и совпадений с регулярными выражениями. Примерами таких совпадений являются совпадения по точному URL-адресу или IP-адресу, а также по комбинации родительского и дочернего процессов.

Правила корреляции

Эти правила несколько сложнее и анализируют историю действий для выявления аномального поведения: например, когда пользователь впервые входит на административный сервер, хотя ранее он получал доступ только к серверам разработки.

модели машинного обучения

Наконец, некоторые модели машинного обучения работают в качестве детекторов для определенного подмножества оповещений, стремясь обнаружить один конкретный тип угрозы. Два примера таких моделей — это модель алгоритма генерации доменов (DGA), которая предсказывает, был ли URL-адрес сгенерирован вычислительным путем, и детектор Hands-On-Keyboard, который предсказывает, был ли командный строка запущена злоумышленником, а не легитимным IT-скриптом.

Детектор DGA — это модель машинного обучения с учителем, обученная на исторических данных с URL-адресами, помеченными как сгенерированные DGA. Она использует долговременную кратковременную память (LSTM) и обучается на URL-адресах в качестве входных данных, поэтому ее можно применять к новым URL-адресам для определения, являются ли они результатом DGA.

Детектор Hands-On-Keyboard работает иначе: это по-прежнему машинное обучение с учителем, но для обучения используется более простая логистическая регрессия, а для определения вредоносности командной строки применяется несколько моделей. Этот детектор работает с командными строками, поэтому признаки формируются на основе типичных характеристик командной строки, таких как:

• Длина команды
• Является ли пользователь/процесс администратором
• Аргументы в командной строке: (/add, /create, procdump и т. д.)
• Фактические команды в командной строке: (echo, cmd и т. д.)

Фильтрация

Этап фильтрации детектора является самым масштабным, поскольку дальше проходят только положительные совпадения. В результате лишь 0,02% событий были переведены в категорию «оповещение». Хотя это и приводит к значительному сокращению, из первоначальных 11,8 триллионов событий осталось около 2,6 миллиарда оповещений: число, слишком большое для ручной сортировки. Количество оповещений, обычно связанных с деятельностью похитителей информации, по-прежнему составляет около 16 миллионов.

Дедупликация и корреляция

Второй этап многоэтапного процесса — дедупликация и корреляция.

Дедупликация

Дедупликация заключается в группировке нескольких оповещений, представляющих собой общий сигнал. К ним относятся, например, атаки типа «отказ в обслуживании» (DoS), активность сканирования и перебор паролей, когда сотни или тысячи оповещений объединяются в одно групповое оповещение. В зависимости от сценария использования группировка выполняется для разных объектов: атака типа DoS будет нацелена на один URL или IP-адрес из нескольких источников, тогда как сканирование будет нацелено на несколько машин из одного источника.

Корреляция

Аналогичным образом, корреляция используется для группировки различных оповещений, связанных с известной схемой атак на объекты: например, когда один и тот же пользователь на одной и той же машине становится жертвой действий после эксплуатации уязвимости.

После удаления дубликатов и корреляции осталось 9,5% оповещений. За двухнедельный период приблизительно 2,6 миллиарда оповещений были сгруппированы в 251,4 миллиона. После этого этапа количество оповещений, обычно связанных с деятельностью похитителей информации, по-прежнему составляло 780 000.

Подавление

Следующий шаг в конвейере обработки оповещений — подавление. Отфильтрованные оповещения зависят от контекста, в котором они происходят, или от клиента. Например, это может включать подавление ложных срабатываний на основе ошибочной информации об угрозах или индикаторов компрометации, или если в конкретной организации уже действуют меры безопасности для определенных типов оповещений. Например, если организация использует внутренний сканер уязвимостей, оповещения от этого сканирования будут подавлены, поскольку известно, что это авторизованная деятельность.

В общей сложности было подавлено 16% оставшихся оповещений. В реальном выражении количество сгруппированных оповещений после подавления сократилось с 251,4 миллиона до 211 миллионов.

Приоритизация

Последним этапом конвейера оповещений является этап приоритизации. Обнаружения XDR и EDR часто связаны с жестко заданным уровнем серьезности, установленным детектором. Хотя этот уровень серьезности не обязательно является на 100% точным, его можно использовать для разделения оповещений на две категории:

1. Предупреждения высокой и критической степени серьезности
2. Предупреждения средней и низкой степени серьезности

Оповещения более высокой степени серьезности можно использовать для обучения более сложных моделей, в то время как оповещения средней и низкой степени серьезности можно отложить в сторону, чтобы обеспечить последующий контекст для того, что модели идентифицируют как угрозы. Из 211 миллионов оповещений 138 917 были высокой и критической степени серьезности.

На основе этих оповещений теперь можно применять более сложные подходы. Для обучения глобальной модели машинного обучения был использован набор данных, содержащий приблизительно 1,8 миллиона оповещений, за 6 месяцев.

Этап приоритизации оповещений преследует две цели:

1. Автоматическое закрытие оповещений с низкой вероятностью того, что они представляют собой реальную угрозу.
2. Повысить уровень серьезности оповещений, которые с высокой вероятностью представляют угрозу.

Модель машинного обучения с учителем была обучена на исторических данных с использованием решений аналитиков в качестве меток. Эта модель включала как статические (включая количество объектов в оповещении и методы MITRE), так и динамические признаки. Последние были построены путем определения частоты прошлых инцидентов для аналогичных оповещений. Например:

• Проводилось ли расследование аналогичных оповещений, поступавших ранее от этого клиента? Расследовались ли они в отношении других клиентов?
• Расследовались ли аналогичные оповещения за последние 24 часа, за последнюю неделю или за последний месяц?
• Проводились ли расследования в отношении аналогичных организаций?

Эти вопросы были закодированы в виде соотношений, которые легли в основу классификатора на основе градиентного бустинга деревьев решений, что позволило осуществлять вывод в потоковом режиме на основе большого количества оповещений, наблюдаемых каждую минуту.

Наиболее важными факторами, за которыми необходимо было следить в этой модели, были показатели мониторинга в реальном времени. Франсуа отслеживал как частоту ложноотрицательных результатов, так и снижение объема оповещений, при этом пороговое значение прогнозов модели определяло, какое количество ложноотрицательных результатов является приемлемым компромиссом по сравнению со снижением объема оповещений.

В этом контексте ложноотрицательный результат — это сигнал тревоги, ошибочно идентифицированный как безобидный, хотя на самом деле он представлял угрозу. Небольшое количество ложноотрицательных результатов допустимо, поскольку инцидент обычно сопровождается несколькими связанными с ним сигналами тревоги, но при более высоком уровне ложноотрицательных результатов существует риск полностью пропустить атаку.

Применение этой модели в потоковом режиме позволило дополнительно сократить количество оповещений на 57 344, в результате чего общее число за двухнедельный период составило 81 573 .

Хотя это число все еще кажется большим, оно включает события от множества организаций. Каждая организация в среднем получила менее 50 оповещений.

Выявление деятельности похитителей информации

После запуска многоэтапного конвейера стало возможным выявить активность похитителей информации в течение двух недель. Анализ оставшихся оповещений от одного конкретного клиента выявил небольшое количество угроз:

Рисунок 2: Оставшиеся оповещения для одного клиента.

Здесь показаны заголовок, вероятностные выходные данные модели приоритезации и название детектора оповещений. Большинство из них, по-видимому, связаны с деятельностью похитителей информации. Однако дальнейшее изучение оповещений о предполагаемой краже учетных данных пользователей показало, что это были ложные срабатывания. После нескольких этапов фильтрации осталось несколько безобидных/не требующих принятия мер оповещений. Тем не менее, два оповещения «Возможная кража паролей» имели высокий уровень угрозы и заслуживают дальнейшего изучения.

Именно здесь проявляются преимущества оповещений средней и низкой степени серьезности, полученных примерно в одно и то же время от одного и того же пользователя и на одном и том же компьютере. При анализе оповещения они предоставляют контекст для понимания угрозы.

Рисунок 3: Включая оповещения средней и низкой степени серьезности. Обратите внимание, что оба оповещения об обнаружении вредоносного ПО имеют низкий показатель угрозы, вероятно, потому что это часто ложные срабатывания; только в сочетании с другими сигналами от программ-похитителей информации мы можем с уверенностью сказать, что компьютер пользователя скомпрометирован.

Активность началась с аномального сигнала в программе, за которым последовало обнаружение вредоносной программы, похищающей информацию, и поведенческое предупреждение о возможной краже паролей. Это повторилось дважды, что навело на мысль о наличии вредоносной программы, похищающей информацию, на компьютере этого пользователя.

На этом этапе компания Sophos связалась с клиентом, и были предприняты шаги по реагированию на инцидент для локализации атаки.

Заключение

Данное исследование демонстрирует, что при обработке огромного количества данных в современном крупномасштабном центре оперативного управления безопасностью (SOC) многоступенчатый конвейер оповещений может значительно упростить задачу выявления вредоносной активности — в данном случае, похитителей информации.

Первоначально количество событий составляло 11,8 триллионов, а этапы фильтрации позволили сократить это число до 81 573 критически важных оповещений (в среднем менее 50 оповещений на организацию) за счет использования детекторов, дедупликации и корреляции, подавления и приоритизации.

Ручная сортировка оставшихся оповещений выявила атаку с использованием вредоносного ПО на основе двух критических оповещений, при этом оставшиеся оповещения меньшей степени серьезности использовались в качестве контекста.

Дальнейшая работа над этим конвейером оповещений включает в себя изучение возможности адаптации этапа приоритезации оповещений для применения к группам оповещений, идентифицированных как часть одного инцидента. Дополнительные функции могут быть разработаны на основе агрегированных данных оповещений в рамках инцидента.

Читать полностью на источнике