Исследователи заставили модель играть саму с собой в текстовую…

👍 Исследователи заставили модель играть саму с собой в текстовую игру через разные языковые интерфейсы — правила и доска идентичны, меняется только язык. Через 518 400 партий выяснилось: игровая сила систематически меняется по языкам — английский стабильно сильнее всего, иврит один из самых слабых.

Показательный пример — игра Ним с известной оптимальной стратегией: модель находит её на английском, но часто теряет на арабском или иврите, если сама спонтанно не переключается на латиницу во внутренних рассуждениях. Проблема не в знаниях, а именно в применении навыка рассуждения через конкретный языковой канал.

‼️ Обнадёживает то, что если вести внутренние рассуждения на более сильном языке, оставив слабый интерфейс на входе-выходе, удаётся вернуть до 89% потерянной результативности. Авторы выпустили открытый бенчмарк Multilingual TextArena на 65 игр и 193 языка.

❓ Замечали такую разницу в качестве ответов модели на русском против английского?