Discord признал наличие ошибки в системе модерации ИИ, из-за которой пользователи были ошибочно заблокированы за безобидные изображения.

Discord признал, что ошибка в его системе модерации на основе ИИ ошибочно заблокировала более 8000 пользователей за последние два месяца после того, как безобидные изображения — включая электронные таблицы, шахматные доски, игровые текстуры, а также белые и серые прозрачные фоны — были ошибочно помечены как вредоносный контент.

Компания подтвердила, что проблема затрагивала учетные записи с мая, и за выходные были заблокированы еще 200 пользователей, прежде чем ее команда выявила и устранила проблему. В настоящее время все затронутые учетные записи находятся в процессе восстановления.

Этот инцидент подчеркивает одну из растущих проблем, связанных с модерацией с помощью ИИ, поскольку многие платформы все чаще полагаются на автоматизированные системы для выявления незаконных или оскорбительных материалов в больших масштабах.

В подробном обсуждении на X Discord объяснил, что его автоматизированная система безопасности работает путем сопоставления загруженного контента с базами данных известных вредоносных материалов. Хотя технология предназначена для выявления незаконного контента, компания признала, что иногда может выдавать ложные срабатывания. Модератор-человек проверяет контент, но из-за ошибки система немедленно блокирует затронутые учетные записи.

«Мы работаем над улучшением мер безопасности, чтобы подобное больше не повторилось», — написала компания.

Наши системы помечают контент, сопоставляя его с известными вредоносными материалами. Такое сопоставление по сходству может приводить к ложным срабатываниям, поэтому сотрудник нашей команды по вопросам доверия и безопасности всегда проверяет помеченный контент, прежде чем предпринимать какие-либо действия.

Предполагаемое поведение заключается в том, чтобы…

— Служба поддержки Discord (@discord_support) 7 июля 2026 г.

На платформах X и Reddit пользователи утверждали, что их аккаунты были заблокированы навсегда просто за загрузку изображений с квадратными сетками. Несколько пользователей предположили, что инструменты модерации Discord на основе ИИ стали более чувствительны к сетчатым узорам, поскольку ранее они использовались для сокрытия или маскировки контента, содержащего материалы для взрослых и материалы, связанные с эксплуатацией детей, от автоматических систем обнаружения.

Пострадавшие пользователи выражают свое недовольство в социальных сетях, некоторые из них утверждают, что перманентная блокировка аккаунтов, основанная исключительно на автоматическом обнаружении, может иметь серьезные последствия, особенно для пользователей, которые используют Discord для работы, игровых сообществ или общения на расстоянии.

«Потеря аккаунта Discord из-за такой несправедливости может быть крайне разрушительной и серьезно повлиять на пользователей, и каждый день миллионы пользователей страдают от ложных блокировок со стороны ИИ. Это необходимо остановить», — написал один из пользователей X.

Мой аккаунт был незаконно заблокирован на вашей платформе из-за ошибки в вашей системе автоматического модерирования, которая определила мои игровые текстуры как материалы, содержащие ненормативную лексику (CSAM). Мне необходимо вернуть свой аккаунт, так как я являюсь игровым директором и использую Discord для всего общения. Я запросил пересмотр решения о блокировке. @discord @discord_support pic.twitter.com/QfAkCIJo6S

— JDBRYANT 🎂 СЕГОДНЯ (@jdbryantdev) 4 июля 2026 г.

Discord не одинок в проблемах с модерацией, вызванных автоматизированными системами. В прошлом году пользователи групп в Instagram и Facebook сообщали о массовых необъяснимых блокировках аккаунтов, которые, по мнению многих, были вызваны системами модерации на основе ИИ. Хотя пользователи указывали на автоматизацию как на вероятную причину, Meta так и не подтвердила публично, были ли это ошибки ИИ. Теперь наблюдательный совет Meta добивается повышения прозрачности.

В прошлом году Tumblr также столкнулся с жалобами пользователей, которые заявили, что их аккаунты были массово заблокированы без внятных объяснений.

Источник: techcrunch.com