О медицинском нейрослопе и эндокринжологах

Наткнулся на статью в BMJ (https://www.bmj.com/content/391/bmj.r2570), где авторы поднимают тему, о которой я в последнее время размышлял где-то на бессознательном уровне после занятий со студентами. Вполне очевидно, что сейчас при обучении, подготовке презентаций, курсовых, историй болезни и прочих учебных активностях люди используют нейросети. Это данность и база. Было бы странно, если бы их не использовали. И когда слушаешь, как студенты читают текст со слайдов, или сам читаешь их работы, довольно легко угадывается паттерн: универсальные словесные конструкции, минимум спонтанных ассоциаций и личного взгляда, структурированное изложение истин уровня википедии, вот это все, и конечно длинные тире —.

Но размышления у меня были не совсем об этом. Я вспомнил одного эндокринжолога, который давно меня забанил (эх). Видел серию его постов, где он скармливал свои фантазии чату гпт. Тот с готовностью не только с ними соглашался, но и выдавал еще более эзотерические конструкции про важность конформации какой-нибудь субъединицы вторичных посредников, влияние правильной соли цинка и глутатиона на угол взаимодействия с андрогеновым рецептором или вообще придумывал некую молекулу SUPERPUPERK04KA, которая одновременно является антагонистом, агонистом и метагонистом эстрогеновых рецепторов. Все это звучало сложно, научно и крайне убедительно. В конце наш эндокринжолог торжествующе резюмировал: ну вот, я был прав, чат гпт подтвердил, шах и мат.

При этом в голове у кринж-гуру даже не возникал вопрос, откуда модель это взяла и проверяет ли она хоть что-нибудь. По сути, это тот же карго-культ аборигенов, только с нейросетями. Люди живут в собственном пузыре фильтров, скармливают свои фантазии чату гпт и получают обратно красиво оформленное подтверждение. Причинно-следственные связи строятся не из данных, а из желания, чтобы мир был устроен именно так. Магическое мышление маскируется псевдонаучной шизофазией, а сложные слова выполняют роль ритуальных украшений. И чем увереннее и сложнее это звучит, тем меньше желания задать простой вопрос: а есть ли вообще под этим хоть какие-то данные. В итоге человек убеждает сам себя, нейросеть этому помогает, и порочный круг замыкается.

Проблему дополнительно усложняет то, что умение говорить чушь с уверенным видом в медицине фактически является мастхэвом. Врачи постоянно находятся под давлением давать уверенные ответы, в том числе и там, где они на самом деле не уверены. Ординатор заходит в палату, пациент спрашивает, обязательно ли запивать преднизолон киселем. Ординатор уверенно отвечает, что да, обязательно. Ему это кажется логичным, даже если по факту он не уверен. Признаться вслух, что ты не знаешь, неприятно, неловко и как будто бы непрофессионально. Пациента ответ устраивает, он успокаивается, а молодой ординатор получает положительное подкрепление: значит, так и надо, уверенность работает. Потом этот же ординатор в ординаторской спрашивает врача, нужно ли лечить ТТГ 4.5 мМЕ/л. В ответ он слышит абсолютно безапелляционное: конечно нужно, это установленный фактор риска прогрессирования атеросклероза. Никто при этом не уточняет, подтверждена ли польза такого лечения в проспективных исследованиях, да и сам вопрос звучит как будто бы неуместно. Уверенность важнее. Дальше ординатор идет на лекцию, где уважаемый профессор с горящими глазами рассказывает, что беременность невозможна, если пролактин не в нижней трети референса, и что нужно нормализовать витамин Дэ, и все сразу наладится. Ну это-то вообще база. Профессор не может ошибаться. И даже если внутри что-то скребется, сомнение быстро подавляется уверенным тоном и горящими глазами говорящего.

Так и циркулирует огромное количество фактоидов. Никто толком не помнит, откуда это взялось, но звучит знакомо и уверенно, значит правда. Эти фразы переходят из уст в уста, попадают в лекции, методички, блоги, телеграм-каналы, танцевальные рилсы и даже в журнальные статьи. А потом именно на этом интернете обучаются нейросети. Вот круг и замкнулся.

Пу пу пу.

Врач, выросший в культуре уверенных ответов, получает от нейросети такое же уверенное подтверждение своих убеждений. Не потому что они верны, а потому что они уверенно сформулированы. В медицине не поощряется сомнение и фраза «я не знаю», зато поощряется уверенный тон и готовый ответ. И пока это так, система будет подпитывать сама себя, уверенность подменять знание, а ошибки масштабироваться в бесконечном нейрослопе быстрее, чем когда-либо раньше.

А я в очередной раз повторю любимую цитату сэра Уильяма Ослера: «Медицина это наука неопределенности и искусство вероятности». И вот это и есть база практикующего клинициста, в которой сомнения – это часть жизни.

Источник: www.bmj.com

Источник: ai-news.ru