Более качественные ответы, более широкое мышление: что получают студенты от ChatGPT и тренировок по критическому мышлению | OpenAI

В рандомизированном эксперименте с участием более 1000 студентов доступ к ChatGPT и обучение причинно-следственному мышлению улучшили результаты работы студентов взаимодополняющим образом.

Прочитайте статью (откроется в новом окне)

• Искусственный интеллект помог студентам восполнить пробел в знаниях.
• Тренировки по развитию критического мышления помогли по-другому.
• Доступ к ИИ может дополнять навыки мышления.
• Задача, стоящая перед школами

• Искусственный интеллект помог студентам восполнить пробел в знаниях.
• Тренировки по развитию критического мышления помогли по-другому.
• Доступ к ИИ может дополнять навыки мышления.
• Задача, стоящая перед школами

Что происходит, когда студенты используют ChatGPT в реальных заданиях? Приводит ли повышение качества к снижению оригинальности?

В новом эксперименте, проведенном исследователями из Университета Боккони в сотрудничестве с OpenAI Economic Research, были обнаружены различные и взаимодополняющие эффекты от доступа к ChatGPT и тренировки критического мышления. Доступ к ChatGPT улучшил качество и согласованность работ студентов, в то время как упражнение на причинно-следственное рассуждение — форма критического мышления — привело к тому, что студенты стали генерировать более уникальные идеи. Студенты, получившие как доступ к ChatGPT, так и прошедшие обучение, продемонстрировали оба эффекта.

Результаты также подчеркивают важность целостного подхода к оценке успеваемости студентов. Поскольку ИИ упрощает студентам написание качественных ответов, задания, возможно, потребуется адаптировать для оценки других желаемых качеств, таких как оригинальность.

Искусственный интеллект помог студентам восполнить пробел в знаниях.

В ходе эксперимента более 1000 студентов первого курса бакалавриата Университета Боккони работали над реальным бизнес-кейсом, разрабатывая маркетинговые рекомендации для университетского магазина сувениров.

Студенты были случайным образом распределены по группам в зависимости от времени занятий и получили: доступ к ChatGPT (GPT-4o), обучение причинно-следственному мышлению, и то, и другое, или ни того, ни другого. Причинно-следственное мышление — это особая форма критического мышления, связанная с установлением причинно-следственных связей и объяснением того, почему данное решение может сработать, а может и нет. Обучение, которое получали студенты, не было связано с искусственным интеллектом; вместо этого оно обучало их концепциям причинно-следственного мышления посредством упражнений, включающих игру, примеры, вопросы и обратную связь.

Работы студентов оценивались квалифицированными экспертами с использованием пятибалльной шкалы. Отдельно исследователи использовали автоматизированный анализ текста для оценки количества и разнообразия идей в каждой работе, признаков причинно-следственной связи и сходства с работами трех экспертов.

Студенты, имевшие доступ к ChatGPT, получили почти на целый балл больше по пятибалльной шкале. Их ответы содержали больше идей, следовали более ясной логике и были больше похожи на рекомендации экспертов. Другими словами, ИИ помог новичкам создавать работы, которые выглядели более профессионально. Важно отметить, что студенты не просто передавали свои задания в ChatGPT. Им по-прежнему приходилось решать, какие вопросы задавать, оценивать ответы и выбирать, что войдет в их окончательный вариант работы.

Тренировки по развитию критического мышления помогли по-другому.

Упражнение на критическое мышление дало более неожиданный результат. Студенты, выполнившие это упражнение, более четко объяснили, почему их идеи могут сработать и когда они могут потерпеть неудачу, но не получили более высоких оценок по критериям, которые измеряли только то, насколько хорошо рекомендации соответствовали двум стандартным маркетинговым целям: повышению осведомленности и активности в университетском магазине.

Анализ текста выявил еще одно преимущество, которое не было учтено в оценочной таблице. В целом, студенты, выполнившие упражнение, представили более широкий спектр идей, которые были более четкими по сравнению с идеями их сверстников. Это важно, потому что традиционная оценочная таблица, подобная той, которая использовалась для оценки студентов в этом эксперименте, может поощрять четкий, хорошо структурированный ответ, игнорируя при этом идею, предложенную студентом, которой не обладали другие.

Доступ к ИИ может дополнять навыки мышления.

Может возникнуть соблазн представить дискуссию об образовании как выбор между тем, должны ли студенты учиться думать самостоятельно или учиться использовать искусственный интеллект.

Этот эксперимент подчеркивает, что оба подхода ценны по-разному. Доступ к ИИ помог студентам создавать более отточенные, содержательные и логически последовательные ответы. Тренировка критического мышления побудила их развивать более широкий спектр оригинальных идей, подвергать сомнению предположения и объяснять, почему их идеи должны работать.

Вместе они дополняют друг друга.

У студентов, получивших доступ к ChatGPT и выполнивших упражнение на развитие критического мышления, были отмечены преимущества каждого из этих методов. Разнообразие их идей соответствовало разнообразию идей студентов, выполнивших только упражнение. Их оценки по критериям и количество идей были схожи с показателями студентов, имевших только доступ к ChatGPT. В их работах также наблюдалась более высокая логическая согласованность и больше примеров поиска объяснений и оспаривания предположений. В целом, эта группа продемонстрировала прогресс по самому широкому спектру показателей.

Рандомизированный дизайн эксперимента позволил исследователям детально изучить эти различные факторы, отделив влияние доступа к ChatGPT и упражнения на развитие критического мышления от эффекта их сочетания. Это делает эксперимент особенно полезным вкладом в быстро растущий объем исследований влияния ИИ на студентов и того, как лучше всего структурировать и поддерживать их обучение.

Задача, стоящая перед школами

Разница между влиянием данного упражнения на учащихся и тем, что было зафиксировано с помощью традиционной системы оценок, указывает на более широкую проблему, стоящую перед школами.

Если ИИ может помочь студентам создавать отточенные, экспертные работы, то, глядя только на конечный ответ, мы получаем меньше информации о том, что студент на самом деле понимает.

Многие педагоги уже сталкиваются с необходимостью изменения методов выполнения заданий и оценивания. Это соответствует многолетней тенденции совместного развития технологий и образования в целях поддержки навыков, необходимых учащимся в современном обществе.

Эти результаты подчеркивают важность поощрения студентов за работы, отражающие оригинальность, логическое мышление и рассмотрение различных подходов, а не только самые традиционные или отшлифованные ответы.

Главный вывод: ИИ помог студентам улучшить свои ответы. Тренировка критического мышления помогла расширить их идеи. Эти два подхода дополняют друг друга в подготовке студентов к будущему.

Источник: openai.com