Человеческий мозг обрабатывает устную речь, используя многоуровневую систему, поразительно напоминающую принципы работы современных языковых моделей искусственного интеллекта. К такому выводу пришла международная группа исследователей, изучив активность мозга в режиме реального времени. Их работа заставляет иначе взглянуть на то, как в нашем сознании рождается понимание услышанного.
Фото из открытых источников / © GigaChat
Эксперимент, результаты которого опубликованы в журнале Nature Communications, проводился под руководством доктора Ариэля Гольдштейна из Еврейского университета. Вместе с коллегами из Google Research и Принстонского университета команда анализировала данные электрокортикографии, записанные в то время, пока добровольцы слушали получасовой аудиорассказ. Точность измерений позволила учёным проследить за нейронными реакциями с высокой степенью детализации.
Анализ показал чёткую последовательность. Обработка речи в мозге происходит поэтапно, и эти этапы выстраиваются во времени аналогично слоям в больших языковых моделях, например GPT-2 или Llama 2. Сначала нейронная активность отражает обработку базовых элементов речи, а более поздние сигналы соответствуют интеграции контекста и формированию общего смысла.
«Больше всего нас удивило то, насколько точно временное разворачивание смысла в мозге соответствует последовательности преобразований в больших языковых моделях. Несмотря на то, что эти системы устроены совершенно по-разному, обе они, похоже, сходятся в том, что понимание строится по принципу поэтапного накопления», — отметил Гольдштейн.
Особенно ярко эта временная динамика проявилась в ключевых речевых центрах мозга. Активность в этой области достигала пика на более поздних стадиях, что соответствует обработке информации в глубоких слоях ИИ-моделей. Это наблюдение ставит под вопрос классические лингвистические теории, основанные на жёстких правилах и фиксированных символах. Вместо них данные указывают на гибкую, контекстно-зависимую систему построения значения.
Исследователи также проверили, насколько хорошо традиционные лингвистические единицы (фонемы и морфемы) объясняют наблюдаемую активность мозга. Оказалось, что контекстуальные представления, создаваемые нейросетями, соответствуют нейронным сигналам значительно точнее. Это говорит о том, что мозг в процессе понимания опирается на широкий контекст, а не на изолированные элементы языка.
Для дальнейшего развития этой области науки команда опубликовала полный набор нейронных записей и сопутствующих лингвистических данных в открытом доступе. Этот ресурс позволяет исследователям по всему миру проверять различные гипотезы о механизмах языка и создавать вычислительные модели, которые ближе к биологической реальности человеческого мозга.
