Более качественные ответы, более широкое мышление: что получают студенты от ChatGPT и тренировок по критическому мышлению | OpenAI

В ходе эксперимента более 1000 первокурсников бакалавриата Университета Боккони работали над реальным бизнес-кейсом: разрабатывали маркетинговые рекомендации для университетского магазина сувенирной продукции.

Учебные группы случайным образом распределили по четырём условиям: доступ к ChatGPT (GPT‑4o), обучение причинно-следственным рассуждениям, оба варианта или ни одного из них. Причинно-следственные рассуждения — особая форма критического мышления, которая помогает устанавливать связь между причиной и следствием и объяснять, почему решение может сработать или не сработать. Обучение, которое проходили студенты, не было связано с искусственным интеллектом; вместо этого оно знакомило их с принципами причинно-следственного мышления посредством упражнения, включавшего игру, примеры, вопросы и обратную связь.

Работы студентов оценивали подготовленные эксперты по пятибалльной шкале на основе заданных критериев. Отдельно исследователи с помощью автоматизированного анализа текста оценили количество и разнообразие идей в каждой работе, признаки причинно-следственных рассуждений и сходство с работами трёх экспертов.

Студенты с доступом к ChatGPT получили по пятибалльной шкале почти на балл больше. В их ответах было больше идей, логика изложения была яснее, а сами работы сильнее напоминали рекомендации экспертов. Иными словами, ИИ помог новичкам подготовить работы, которые выглядели более профессионально. Важно отметить, что студенты не просто поручали ChatGPT выполнить задания за них. Им по-прежнему нужно было решать, что спросить, оценивать ответы и выбирать материалы для итоговой работы.

Упражнение на критическое мышление дало более неожиданный результат. Студенты, выполнившие упражнение, яснее объясняли, почему их идеи могут сработать и при каких условиях потерпят неудачу. Упражнение на критическое мышление дало более неожиданный результат. Однако оценки по заданным критериям у них не выросли: учитывалось лишь то, насколько хорошо рекомендации отвечали двум стандартным маркетинговым целям — повысить узнаваемость университетского магазина и частоту покупок в нём.

Анализ текста выявил ещё одно преимущество, которого не отражала система оценки. В целом студенты, выполнившие упражнение, предложили более широкий спектр идей, которые заметнее отличались от идей однокурсников. Это важно, поскольку традиционная система оценки, подобная использованной в эксперименте, может поощрять ясные и хорошо структурированные ответы, но не учитывать, придумал ли студент идею, до которой больше никто не додумался.

В дискуссиях об образовании вопрос часто сводят к выбору: учить студентов мыслить самостоятельно или пользоваться ИИ.

Этот эксперимент показывает, что оба подхода по-своему ценны. Доступ к ИИ помог студентам готовить более отточенные, насыщенные идеями и логически связные ответы. Обучение критическому мышлению побуждало их разрабатывать более широкий спектр оригинальных идей, подвергать сомнению исходные допущения и объяснять, почему их идеи должны сработать.

Вместе они дополняют друг друга.

Студенты, получившие и доступ к ChatGPT, и упражнение на критическое мышление, продемонстрировали преимущества обоих подходов. Разнообразие их идей было таким же, как у студентов, выполнивших только упражнение. Их оценки и количество идей были сопоставимы с результатами студентов, получивших только доступ к ChatGPT. Их работы также отличались большей логической связностью: студенты чаще искали объяснения и критически анализировали исходные допущения. В целом эта группа показала улучшения по самому широкому набору показателей.

Благодаря рандомизированной схеме эксперимента исследователи смогли подробно изучить разные факторы: отдельно оценить влияние доступа к ChatGPT и упражнения на критическое мышление, а также эффект их сочетания. Это делает эксперимент особенно ценным для быстро растущего направления исследований о влиянии ИИ на студентов и о том, как лучше организовать и поддерживать их обучение.

Расхождение между влиянием упражнения на студентов и результатами оценки по традиционным критериям указывает на более общую проблему, стоящую перед учебными заведениями.

Если ИИ помогает студентам готовить отточенные работы, похожие на работы экспертов, то один лишь итоговый ответ уже меньше говорит о том, что студент понимает на самом деле.

Многие преподаватели уже сталкиваются с тем, что задания и подходы к оцениванию, возможно, придётся менять. Это продолжает многолетнюю тенденцию: технологии и образование развиваются вместе, помогая формировать навыки, необходимые студентам в современном обществе.

Эти результаты подчёркивают, как важно поощрять студентов за работы, демонстрирующие оригинальность, умение рассуждать и рассматривать разные подходы, а не только за самые привычные или отточенные ответы.

Главный вывод: ИИ помог студентам улучшить ответы, а обучение критическому мышлению — мыслить шире. Вместе эти подходы дополняют друг друга и помогают готовить студентов к будущему.