Кодированный язык поколения Альфа затрудняет обнаружение интернет-травли

Взрослые и модели искусственного интеллекта не распознают сообщения с вредоносными намерениями, выраженные с использованием сленга или мемов поколения альфа, что вызывает опасения по поводу безопасности молодежи в Интернете

Интернет-жаргон поколения Альфа мутирует быстрее, чем успевают учителя, родители и модели искусственного интеллекта, что потенциально подвергает детей издевательствам и травле, которые доверенные взрослые и системы безопасности на основе искусственного интеллекта просто не замечают.

Маниша Мехта, 14-летняя ученица средней школы Уоррена Э. Хайда в Купертино, Калифорния, и Фаусто Джунчилья из Университета Тренто, Италия, собрали 100 выражений и фраз, популярных среди поколения Альфа (людей, родившихся в период с 2010 по 2025 год), из популярных игр, социальных сетей и видеоплатформ.

Затем пара попросила 24 добровольцев в возрасте от 11 до 14 лет, одноклассников Мехты, проанализировать фразы вместе с скриншотами, связанными с контекстом. Добровольцы объяснили, понимают ли они фразы, в каком контексте они используются и несет ли это использование какие-либо потенциальные проблемы безопасности или вредные толкования. Они также попросили родителей, профессиональных модераторов и четыре модели ИИ — GPT-4, Claude, Gemini и Llama 3 — сделать то же самое.

«Меня всегда завораживал язык поколения Альфа, потому что он настолько уникален, насколько быстро все становится и теряет актуальность», — говорит Мехта.

Среди волонтеров Generation Alpha 98 процентов понимали основное значение терминов, 96 процентов понимали контекст, в котором они использовались, и 92 процента могли обнаружить, когда они использовались для причинения вреда. Но модели ИИ распознавали вредоносное использование только примерно в 4 из 10 случаев — от 32,5 процентов для Llama 3 до 42,3 процентов для Claude. Родители и профессиональные модераторы были не лучше, обнаружив только около трети вредоносных использований.

«Я ожидал немного большего понимания, чем мы получили», — говорит Мехта. «Это были в основном просто догадки со стороны родителей».

Фразы, которые обычно использует поколение Альфа, включают некоторые, которые имеют двойной смысл в зависимости от контекста. «Пусть он готовит» может быть искренней похвалой в игровом стриме — или насмешливой усмешкой, подразумевающей, что кто-то несет чушь. «Кыс», когда-то сокращенное от «познай себя», теперь для некоторых читается как «убей себя». Другая фраза, которая может скрывать оскорбительное намерение, — «это акустическое», используемая для насмешливого вопроса, является ли кто-то аутистом.

«Поколение Альфа очень уязвимо в сети», — говорит Мехта. «Я думаю, что очень важно, чтобы LLM могли хотя бы понимать, о чем идет речь, потому что ИИ будет все больше распространяться в сфере модерации контента, и в будущем это будет происходить все чаще и чаще».

«Совершенно очевидно, что LLM меняют мир», — говорит Джунчилья. «Это действительно парадигма. Я думаю, что есть фундаментальные вопросы, которые нужно задать».

Результаты исследования были представлены на этой неделе на конференции Ассоциации вычислительной техники по вопросам справедливости, подотчетности и прозрачности в Афинах, Греция.

«Эмпирически эта работа указывает на то, что, скорее всего, будут большими недостатками в системах модерации контента для анализа и защиты молодых людей в частности», — говорит Майкл Вил из Университетского колледжа Лондона. «Компаниям и регулирующим органам, вероятно, придется уделять этому пристальное внимание и реагировать на это, чтобы оставаться выше закона в растущем числе юрисдикций с законами о платформах, направленными на защиту молодых людей».

FAccT '25: Труды конференции ACM 2025 года по вопросам справедливости, подотчетности и прозрачности DOI: 10.1145/3715275.3732184

Источник: www.newscientist.com