Злоумышленники применяют эмодзи в мессенджерах вроде Discord для управления malware, а также для атак на ИИ-модели.?
Атака Disgomoji
Хакеры из Пакистана распространяют вирус Disgomoji через Discord, отправляя сообщения с эмодзи для удаленного управления ПК жертвы. Эмодзи служат командами: например, определенные смайлы активируют загрузку файлов или кражу данных.?
Обход ИИ-защит
Исследователи, включая сотрудника Mozilla, взламывают модели вроде ChatGPT, кодируя вредоносные инструкции в эмодзи или hex-формат. Это позволяет генерировать эксплойты, SQL-инъекции или обходить цензуру.?
Скрытие в базах данных
Эмодзи маскируют SQL-код в Unicode, что привело к уязвимостям в PostgreSQL и даже инциденту с казначейством США, где скрывались payloads более 10 лет.?
Защита
Используйте антивирусы с поведенческим анализом, отключите эмодзи в подозрительных чатах Discord и обновляйте ПО. Не кликайте на неизвестные ссылки с смайлами.?
———=====?=====———
Взлом эмодзи: угроза безопасности ИИ
Модели искусственного интеллекта (ИИ) быстро развиваются, но с прогрессом приходит и риск. Казалось бы, безобидный эмодзи может стать лазейкой для кибератак, выявляя уязвимости в системе безопасности ИИ. В этой статье рассматривается, как работает взлом эмодзи и какие шаги мы можем предпринять для его предотвращения.
Как работают модели искусственного интеллекта и почему токены важны.
Крупные языковые модели (LLM), такие как ChatGPT и GPT-4, работают с использованием токенов , которые являются строительными блоками их возможностей обработки текста. Токен может представлять слова, знаки препинания или даже эмодзи. Понимание токенизации имеет решающее значение для выявления потенциальных уязвимостей безопасности в ИИ.
Примеры токенов:
«Привет» = 1 слово, 1 токен
«Здравствуйте, меня зовут Уэс.» = 5 слов, 2 знака препинания, 7 символов
«Великолепно» = 2 токена
«Supercalifragilisticexpialidocious» = 10 токенов
Огненный смайлик (?) = 1 жетон.
Смайлик (?) = 1 токен
Эмодзи, выражающий изумление (?) = 2 токена
Однако не все токены просты в использовании. Символы Юникода, особенно эмодзи, могут кодировать скрытые данные , что создает серьезные риски для безопасности.
Проблема эмодзи: троянский конь для эксплойтов в области искусственного интеллекта.
На первый взгляд, эмодзи кажутся безобидными. Но благодаря кодировке Unicode , их можно модифицировать, добавляя невидимые селекторы вариантов (VS1–VS256) . Эти селекторы не меняют внешний вид эмодзи для человека, но позволяют встраивать в него скрытые сообщения.
Скрытые послания в эмодзи
Киберпреступники могут использовать селекторы вариантов Unicode для сокрытия команд внутри эмодзи, фактически превращая их в «троянских коней», которых модели ИИ неосознанно обрабатывают. Когда модели ИИ взаимодействуют с этими измененными эмодзи, они могут интерпретировать скрытые инструкции, что потенциально может привести к утечкам данных, дезинформации или несанкционированным действиям .
Пример скрытых данных
Рассмотрим следующее предложение: «В этом предложении содержится скрытый смысл».
Для человека это выглядит нормально. Но если скопировать и вставить в текстовый редактор, отображающий скрытые символы Юникода, могут появиться дополнительные закодированные данные , указывающие на скрытое сообщение.
Внедрение подсказок: как злоумышленники обманывают модели ИИ.
Одним из самых опасных способов взлома эмодзи является внедрение подсказок — техника, при которой скрытые команды встраиваются в подсказки ИИ. Злоумышленники могут манипулировать системой ИИ, не давая пользователю это понять.
Как работает экспресс-инъекция:
Команда закодирована в эмодзи.
Пользователь, сам того не подозревая, добавляет смайлик в подсказку.
Искусственный интеллект обнаруживает скрытую команду и выполняет её.
Например, атака с внедрением подсказки может привести к тому, что ИИ будет отвечать только «lol» независимо от того, что спрашивает пользователь.
Почему некоторые модели ИИ более уязвимы
Некоторые модели ИИ, особенно те, которые предназначены для анализа, декодирования и решения головоломок , более подвержены взлому эмодзи. Эти модели могут тратить дополнительное время на интерпретацию скрытых данных Unicode, что увеличивает вероятность выполнения нежелательных команд.
Укрепление безопасности ИИ: что необходимо сделать
Системы безопасности ИИ должны развиваться, чтобы противостоять новым угрозам, таким как взлом эмодзи. Вот несколько ключевых мер защиты:
1. Аудит безопасности Unicode
Разработчикам следует проводить всесторонние аудиты для выявления и нейтрализации рисков, связанных с кодированием и токенизацией в формате Unicode.
2. Усовершенствованные системы фильтрации
Системы искусственного интеллекта должны обнаруживать и очищать скрытые селекторы вариантов Unicode перед обработкой входных данных.
3. Непрерывный мониторинг и установка обновлений
Регулярные обновления и обнаружение аномалий в режиме реального времени могут помочь предотвратить возникновение новых угроз безопасности.
4. Повышение осведомленности в масштабах всей отрасли.
Исследователи в области искусственного интеллекта, эксперты по безопасности и разработчики должны сотрудничать и обмениваться знаниями для эффективного решения проблем, связанных с постоянно меняющимися уязвимостями.
Будущее безопасности ИИ
Безопасность ИИ — это постоянная проблема. По мере того, как модели становятся все более сложными, будут появляться новые уязвимости. Взлом эмодзи — это тревожный сигнал , подчеркивающий важность упреждающей защиты от скрытых, но опасных киберугроз.
Сохраняя бдительность и внедряя надежные меры безопасности , мы можем защитить системы искусственного интеллекта от эксплуатации и обеспечить их дальнейшую безопасную и этичную работу на благо общества.
https://www.hirencode.dev/blogs/the-emoji-hack-risk-to-ai-security
Источник: www.hirencode.dev
Источник: ai-news.ru
