ИИ плохо понимает смайлы и допускает критичные ошибки, показало исследование
Современные системы искусственного интеллекта, способные обрабатывать и создавать тексты на множестве языков, получили широкое распространение среди пользователей по всему миру. Несмотря на популярность и полезность, новые исследования показывают, что даже самые продвинутые модели сталкиваются с серьезной проблемой интерпретации эмодзи (символ или картинка, передающие эмоции). Результаты исследования опубликованы на сервере препринтов arXiv.
Фото из открытых источников
Ученые из Сианьского университета совместно с коллегами из Наньянского технологического университета и Массачусетского университета установили, что использование смайлов способно вызывать серьезные искажения в работе больших языковых моделей. Эмодзи, применяемые пользователями для передачи эмоций, воспринимаются моделями как часть инструкции, что приводит к непредсказуемым результатам вплоть до удаления важных данных.
Для проверки гипотезы ученые разработали специальный инструмент, создающий сценарии тестирования. Затем они собрали уникальный набор данных, состоящий из 3757 примеров тестовых запросов для крупных языковых моделей. Примечательно, что большинство используемых смайлов были простыми комбинациями ASCII-символов, изображающих человеческие эмоции.
Испытания проводились на шести популярных моделях, включая Claude-Haiku-4.5, Gemini-2.5-Flash, GPT-4.1-mini, DeepSeek-v3.2, Qwen3-Coder и GLM-4.6. Анализ показал, что примерно в 38% случаев языковые модели выдавали ошибочные ответы, причем почти каждый девятый ответ был фактически некорректным, являясь формально грамматически правильным, но абсолютно несоответствующим ожиданиям пользователя.
Исследование подчеркивает необходимость дальнейших исследований и разработки методов улучшения обработки эмодзи большими языковыми моделями. Авторы считают, что выявление текущих ограничений позволит создать инструменты, минимизирующие риск возникновения ошибок и повышающие надежность систем искусственного интеллекта.
Оцените материал:
