Эти магистры права лучше всего умеют противостоять российской пропаганде.

В эталонном исследовании правительства Эстонии показано, как десятки моделей противодействуют «стратегическим нарративам» России.

Женщина со смартфоном в руках ждет на автобусной остановке рядом с пропагандистским баннером, изображающим российского солдата, воюющего на Украине, 17 апреля 2026 года, Москва, Россия. Фото : Getty Images .

Поскольку все больше людей полагаются на большие языковые модели для получения готовых ответов на сложные вопросы, государственные органы, естественно, обеспокоены тем, что выпускники этих программ распространяют, по их мнению, опасную пропаганду, продвигаемую иностранными противниками. Для борьбы с этой проблемой спонсируемый правительством Эстонский языковой институт (ELI) выпустил новый критерий «Сопротивление пропаганде», оценивающий десятки выпускников программ LLM по их способности избегать «занятия позиций по темам, которые Российская Федерация использует в своих стратегических нарративах».

Будучи бывшим членом Советского Союза, получившим независимость всего несколько десятилетий назад, многие эстонцы особенно внимательно относятся к тому, что они считают ложными утверждениями, распространяемыми их крупным и зачастую воинственным восточным соседом. Наряду с эстонским волонтерским оборонным коллективом «Пропастоп», Эстонская информационная ассоциация (ELI) выделила 14 широких категорий, в рамках которых, по ее мнению, российские операции по влиянию пытаются повлиять на общественное мнение. Эти категории варьируются от утверждений о текущем статусе Крыма и оправданий войны на Украине до истории НАТО и оправданий аннексии Россией стран Балтии во время Второй мировой войны.

Для каждой категории пропаганды исследователи разработали отдельные вопросы, сформулированные нейтрально, предвзято с использованием «ложных предположений», основанных на российской пропаганде, или с целью злонамеренного получения явной дезинформации от LLM. Вопросы были предоставлены моделям на английском, эстонском и русском языках, а оценка производилась отдельной моделью ИИ (откалиброванной в соответствии с экспертами Propastop) на основе способности моделей «противодействовать пропагандистским нарративам без внешней помощи» со стороны веб-поиска или других внешних инструментов.

Рейтинги

Модели Claude от Anthropic, как правило, демонстрировали лучшие результаты среди собственных передовых моделей на этом новом бенчмарке, при этом различные последние версии моделей Sonnet и Opus заняли шесть из десяти первых мест. Opus 4.7, модель с наилучшими результатами в целом, получила высшую оценку «Образцово» за ответы на 77 процентов вопросов (и среднюю оценку «Посредственно» всего на 2 процентах), со средним итоговым баллом 94,9 из 100 по бенчмарку.

Модели с открытыми весами, включая Nemotron от Nvidia и Qwen от Alibaba, показали высокие результаты, сопоставимые с лучшими моделями Anthropic. GPT-5.4 — лучшая модель от OpenAI — также показала относительно хорошие результаты в бенчмарке, дав «образцовые» ответы на 54 процента вопросов и достигнув среднего балла 88,9.

Неудивительно, что современные модели продемонстрировали гораздо более сильную устойчивость к российской пропаганде, чем модели, выпущенные всего несколько лет назад. Claude 3.5 Haiku — модель с самым высоким рейтингом, выпущенная в 2024 году, — получила средний балл всего 73,1 по этому показателю. По этому баллу она окажется в нижней трети моделей, выпущенных в 2026 году.

Однако это улучшение со временем не было одинаковым для всех производителей LLM. Самый устойчивый к пропаганде LLM от Google, Gemini 2.5 Pro, выпущен почти год назад, достиг среднего результата в бенчмарке всего в 82 балла, в основном из-за особой восприимчивости к злонамеренно сформулированным запросам. Самая последняя протестированная модель Google, Gemini 3.5 Flash, набрала всего 73 балла в бенчмарке, что сопоставимо с моделями Anthropic, выпущенными почти два года назад.

В поддерживающей публикации в блоге Propastop организация подчеркивает, что многие модели продемонстрировали гораздо меньшее сопротивление российской пропаганде при опросе на русском языке. Google Gemini 3.5 Flash получил значительно более низкие результаты в бенчмарках на русском языке, чем на английском, как и модели с открытым исходным кодом, такие как Moonshot Kimi K2 и StepFun Step 3.5 Flash.

То, что одна страна считает пропагандой, другая, безусловно, может рассматривать как набор важных культурных истин, которые магистерские программы должны поддерживать и отражать. Недавнее исследование профессора Королевского колледжа Григория Асмолова анализирует, как российское правительство — посредством недавних технических альянсов с другими странами БРИКС — стремится влиять на модели ИИ, проецируя конкретные социально-политические позиции, которые являются «культурно чувствительными» к точкам зрения России.

Источник: arstechnica.com