Google убрала ИИ-резюме по медзапросам после скандала с ошибками

В начале января британская The Guardian опубликовала расследование, показавшее, что инструмент AI Overviews от Google — тот самый, который кратко подытоживает результаты поиска с помощью искусственного интеллекта — может давать опасно неверные медицинские советы. После публикации Google спешно **удалила часть ответов, но вопросов к компании только прибавилось.

Журналисты обнаружили, что при запросах вроде «норма показателей печени» или «liver function tests range» Google выводила длинные таблицы с цифрами, никак не объясняя, что нормы зависят от пола, возраста, этнической принадлежности и страны.

Врачам пришлось комментировать, что пациент, увидевший «всё в норме», вполне может решить не идти к врачу, хотя анализы указывают на развитие серьёзного заболевания. Представитель британской благотворительной организации British Liver Trust прямо назвала такие резюме «опасными и вводящими в заблуждение».

Авторы расследования нашли и другие примеры — например, AI Overviews советовала пациентам с раком поджелудочной железы избегать жирной пищи, хотя на деле им нужно есть именно калорийно, чтобы не терять вес.

Также в поисковой выдаче появлялись неверные советы по онкоскринингу для женщин. Всё это выглядело как системная проблема — ИИ не отличает медицинские нюансы и подаёт ответы с уверенностью эксперта.

После скандала компания убрала часть ответов и пообещала «улучшить систему». Но журналисты заметили, что варианты запросов с другими формулировками всё ещё вызывают те же самые ИИ-резюме.

Google заявила, что не комментирует конкретные случаи, но «постоянно вносит улучшения» и что большинство данных AI Overviews основано на «надёжных источниках». Однако медсообщество указывает: если система даже теоретически может выдать такой совет, это уже сигнал тревоги.

AI Overviews — один из ключевых проектов Google, который компания активно развивает в 2024–2025 годах. По задумке, они должны экономить время пользователей, выдавая краткий ответ без перехода по ссылкам. Но в случае с медициной такая экономия может стоить слишком дорого.

История показывает, что даже крупнейшие ИТ-компании пока не умеют безопасно автоматизировать «человеческий контекст», особенно там, где от слов зависит здоровье.