Трехголовые собаки и длинные хвосты: Sophos на выставке BSides LV

Помимо участия Sophos в Black Hat USA в этом году, специалисты по анализу данных из команды Sophos AI представят два доклада о новых исследованиях в области безопасности ИИ на конференции BSides в Лас-Вегасе.

Трехголовая собака

В понедельник, 3 августа, Адарш Кьядиге представит «CerBERTus» — трехголовую модель на основе BERT для оперативного обеспечения безопасности.

Обнаружение джейлбрейка с использованием LLM часто рассматривается как бинарная задача: является ли запрос вредным или безобидным? Однако такая формулировка ненадежна. Вредные запросы могут быть скрыты в ролевых играх, художественной литературе, срочных ситуациях или «академических» предлогах, в то время как законные запросы могут быть тематически близки к небезопасному контенту без злого умысла. В результате детекторы с одной меткой переобучаются на выявлении закономерностей, что приводит как к ложным отрицательным результатам (противоположные переписывания), так и к ложным положительным результатам (смежные безобидные запросы).

CerBERTus решает эту проблему, поскольку не рассматривает обнаружение джейлбрейка как плоский бинарный классификатор; вместо этого он моделирует степени свободы злоумышленника, разделяя то, что запрашивается (цель), и то, как это запрашивается (фрейм).

Данный метод включает в себя один общий кодировщик, который подает данные на три классификационных модуля:

1. Вред (первичный)
2. Категория цели (что пользователь пытается сделать)
3. Стиль изложения (способ представления запроса).

Для обучения и стресс-тестирования этого разделения Адарш и его команда создали структурированный факторный корпус подсказок, который систематически сопоставляет цели с рамками:

• Цели включают вредоносные, смежно-безопасные и в целом безопасные запросы, охватывающие такие категории, как кибератаки, мошенничество/социальная инженерия, взрывчатые вещества, химическое/биологическое оружие, обычное оружие, синтез наркотиков, неприкосновенность частной жизни/раскрытие личных данных, торговля людьми, экстремистская пропаганда и расизм/нативизм.
• В число используемых приемов входят враждебные стили «побега из тюрьмы» (например, ролевая игра/персона, сценарий/художественная литература, срочность/кризис, академический предлог, обфускация, префиксы, похожие на инъекции), а также безобидные и пустые/простые приемы фрейминга.

Команда продемонстрирует, что модель обобщается как на новые цели атак, так и на новые стили представления информации, с которыми она не сталкивалась во время обучения. В докладе они расскажут о модели угроз, построении набора данных, целях обучения и стратегии оценки, а также обсудят, когда многозадачное обучение повышает устойчивость и интерпретируемость.

Аномалии и длинные хвосты

В среду, 5 августа, в продолжение исследований, представленных на конференции Black Hat USA 2025, специалисты по обработке данных Sophos Бен Гельман, Тамаш Нири и Тибор Кристоф Ланьи поделятся подробностями своих новых исследований в области обнаружения аномалий.

В кибербезопасности классификаторы с учителем часто обучаются на данных, которые не охватывают самые необычные примеры. В обучающих наборах данных, предназначенных для безобидных атак, преобладают простые, распространенные шаблоны, в то время как вредоносные наборы отражают известные атаки из прошлых расследований. Длинный хвост необычных файлов с обеих сторон остается без меток.

Когда эти файлы попадают в рабочую среду, классификаторы с большей вероятностью неправильно их классифицируют, генерируя ложные срабатывания, которые перегружают центры мониторинга безопасности, и ложные отрицательные результаты, которые пропускают угрозы. Традиционные подходы не масштабируемы: ручная разметка обходится дорого, сбор данных на основе правил слишком узок, а обнаружение аномалий само по себе исторически приводило к неприемлемо высокому уровню ложных срабатываний.

Однако обнаружение аномалий в сочетании с LLM-моделями отлично справляется и с другой задачей: поиском и маркировкой необычных данных, отсутствующих в обучающих наборах данных по кибербезопасности.

В своем докладе Бен и его команда представили автоматизированный конвейер, который объединяет обнаружение аномалий и LLM-модели для расширения обучающих данных для набора моделей кибербезопасности. Для выявления явно необычных данных они использовали взаимодополняющие методы обнаружения аномалий, каждый из которых работает с различными представлениями признаков. Затем LLM-модель классифицирует каждую аномалию с помощью подсказок, специфичных для формата и откалиброванных для каждого типа данных.

Важно отметить, что команда использовала отдельные подсказки, которые склонялись к злонамеренным и безобидным запросам соответственно, достигнув высокой точности по обоим типам меток. Этот метод был протестирован на трех структурно различных типах данных с ежемесячными масштабами поступления информации, охватывающими разные порядки величин.

Бен и его коллеги объяснят архитектуру, подробно расскажут о логике LLM на реальных аномальных файлах, покажут реальные результаты «до» и «после», а также предоставят участникам все необходимое для создания собственных систем обнаружения.

Продолжение следует

Более подробные статьи по обоим проектам мы опубликуем после конференции.

Читать полностью на источнике