Миф о роли эксперта: новую кнопку нашли, а чуда нет
Ты когда нибудь надеялся, что правильная инструкция сделает модель всемогущей? Пенсильванский университет решил проверить этот трюк честно и спокойно.
Как тестировали
— Шесть моделей: GPT-4o, GPT-4o-mini, o3-mini, o4-mini, Gemini 2.0 Flash, Gemini 2.5 Flash
— Сложные вопросы аспирантского уровня по физике, химии, праву и другим дисциплинам
— Три сценария:
— Эксперт в теме
— Эксперт не в теме
— Тотальный новичок
Что получилось
— Роль эксперта почти не повышает точность ответов
— Эксперт не по теме может даже ухудшить результат
— Запрос стать ребенком стабильно дает худшие ответы
— Gemini иногда отказывается отвечать, если "переживает" нехватку экспертизы
Главный вывод
— Назначение роли меняет тон и стиль, но не добавляет знаний
— Полагаться на "Будь профессором квантовой физики" бессмысленно при решении сложных задач
— Для качества ответа важнее ясный вопрос и правильные данные, а не титулы в промпте
Железка умнее от ролевых игр не становится. Она уже знает ровно столько, сколько знает.
Если ты все еще ищешь волшебный способ повысить точность, начни с формулировки вопроса. Четкость и контекст работают лучше любых регалий.
