Ее исследование показывает, что чат-боты не являются подходящей заменой психотерапевтам-людям
Исследование Зейнеп Демирбаш вдохновило меня. во время беседы с другом семьи. Этот друг, психолог, сказал, что некоторые медицинские страховые компании продвигают использование искусственного интеллекта, такого как ChatGPT, для улучшения психического здоровья. Идея: ИИ может быть менее дорогостоящим и более доступным, чем люди-терапевты.Это обеспокоило 14-летнюю Зейнеп. Она знала, что ChatGPT часто дает неправильные ответы или соглашается с неверными утверждениями. Можно ли доверять этому типу искусственного интеллекта, известному как большая языковая модель, или LLM, в вопросах нашего психического здоровья?
<загрузка изображения="ленивая" расшифровка="асинхронная" width="304" height="450" src="https://www.snexplores.org/wp-content/uploads/2025/10/Demirbas.Зейнеп.Снимок головы-304x450.png" alt="" class="wp-image-3161314" srcset="https://www.snexplores.org/wp-content/uploads/2025/10/Demirbas.Зейнеп.Снимок головы-304x450.png 304 вт, https://www.snexplores.org/wp-content/uploads/2025/10/Demirbas.Зейнеп.Снимок головы-259x383.png 259 вт, https://www.snexplores.org/wp-content/uploads/2025/10/Demirbas.Зейнеп.Снимок головы-126x186.png 126 вт, https://www.snexplores.org/wp-content/uploads/2025/10/Demirbas.Зейнеп.Снимок головы-768x1136.png 768 Вт, https://www.snexplores.org/wp-content/uploads/2025/10/Demirbas.Зейнеп.Снимок головы-392x580.png 392 вт, https://www.snexplores.org/wp-content/uploads/2025/10/Demirbas.Зейнеп.Снимок головы-525x776.png 525 Вт, https://www.snexplores.org/wp-content/uploads/2025/10/Demirbas.Зейнеп.Headshot.png 1030w" размеры="авто, (максимальная ширина: 304 пикселя) 100vw, 304 пикселя" />
Чтобы выяснить это, она протестировала, могут ли несколько LLM распознавать ударение в тексте, написанном человеком. Она предоставила моделям набор данных из более чем 3500 постов на Reddit. Эксперты-люди отметили каждый из них как содержащий стресс или нет. Зейнеп попросила моделей определить, какие посты содержат стресс.
Чтобы оценить, насколько хорошо справились модели, Зейнеп подсчитала для каждой из них так называемую оценку F1. Эта оценка учитывает, сколько постов, содержащих стресс, модели точно определили. Это также объясняет, как часто модели пропускали случаи стресса и как часто они ошибочно помечали посты как свидетельствующие о стрессе.
Программа LLM, специально разработанная для изучения психического здоровья, показала лучшие результаты. Она набрала около 82 процентов баллов. ChatGPT набрал всего около 74 процентов голосов.
Зейнеп, начинающий специалист в области компьютерных технологий, выполнила этот проект, будучи восьмиклассницей средней школы Transit в Ист-Амхерсте, штат Нью-Йорк. Ее исследование принесло ей место финалистки в конкурсе Thermo Fisher Scientific Junior Innovators Challenge 2025 года. Этой программой руководит Научное общество (а также публикует исследования Science News).
Здесь Зейнеп делится своим исследовательским опытом и советами.
Какова была ваша реакция на результаты?
Плохие результаты ChatGPT “действительно удивили», — говорит Зейнеп. Результаты оказались даже хуже, чем у модели “случайного леса”. Эта модель делает прогнозы, используя набор деревьев решений, что-то вроде сверхсложной блок-схемы. Предполагается, что метод “случайного леса» является очень простым и старым методом. Поэтому я просто взяла это за основу”, — говорит Зейнеп. “Это было очень интересно — как что-то настолько маленькое и простое смогло превзойти LLM [например, ChatGPT], который использовал миллионы параметров и в который было вложено столько кода”.
Каковы основные выводы из вашего проект?
“Мы должны быть внимательны к ИИ, потому что на самом деле он не имеет приемлемой оценки психического здоровья”, — говорит Зейнеп. “Это не значит, что LLM — это плохо, потому что они предназначены для общего пользования. Они не обязательно предназначены для охраны психического здоровья”. Полученные данные привели ее к выводу, что LLM не должны заменять психотерапевтов-людей. Вместо этого, эти модели могут помочь выявить людей, испытывающих трудности, и направить их к специалисту в области психического здоровья.
Как бы вы могли развить этот проект дальше?
“Я чувствую, что могу расширить его одним из способов это проверка того, есть ли у магистрантов предубеждения по отношению к представителям разных полов”, — говорит Зейнеп. “Как бы он реагировал [по-другому], если бы это были девушки или парни?” Зейнеп читала, что иногда врачи не обращают внимания на симптомы у пациенток, потому что считают, что женщины преувеличивают. Предположение врачей — пример личной предвзятости. Поскольку магистры обучаются на текстах, написанных людьми, они могут уловить человеческие предубеждения, говорит Зейнеп. Ей интересно, будут ли магистры проявлять гендерные предубеждения, подобные тем, что проявляют врачи-люди.
