Deloitte возвращает деньги австралийскому правительству за отчёт стоимостью $440K из-за галлюцинаций GPT-4o

«У Deloitte проблемы с человеческим интеллектом» — сенатор предложила лучше купить подписку на ChatGPT.

Консалтинговый гигант Deloitte Australia согласился вернуть последний платёж по контракту на $440 тысяч после того, как признал использование ИИ в отчёте, который оказался напичкан ошибками: три несуществующие академические ссылки, выдуманная цитата из решения Федерального суда и неправильно написанное имя судьи.

Отчёт готовили для Департамента занятости и трудовых отношений — он должен был проверить IT-систему для автоматизации штрафов получателям социальных пособий. По иронии, Deloitte критиковала правительственную автоматизацию, используя собственную кривую автоматизацию.

Первую версию опубликовали в июле. Меньше чем через месяц академик из Сиднейского университета Кристофер Радж обнаружил проблемы и предположил, что это галлюцинации генеративного ИИ. Deloitte сначала отмалчивалась.

В новой версии отчёта, тихо загруженной в пятницу перед длинными выходными (снова по иронии, сегодня в Австралии отмечается День труда), удалили дюжину ссылок на несуществующие работы профессора Лизы Бёртон Кроуфорд из Сиднейского университета. Ещё две ссылки — на несуществующий отчёт профессора Бьёрна Регнелля из университета Лунда в Швеции.

Самое жёсткое: выдуманная цитата из ключевого дела о незаконных автоматических возвратах уже выплаченных пособий — Deanna Amato v Commonwealth. GPT-4o написал имя судьи с ошибкой («Justice Davis» вместо Jennifer Davies) и сочинил цитату якобы из параграфов 25 и 26 решения: «Бремя доказывания лежит на лице, принимающем решение. Законные права человека не могут быть урезаны на основе предположения, не подкреплённого доказательствами». Красиво звучит, но такого не было.

Радж заметил интересную деталь в исправленной версии: «Вместо того чтобы заменить одну галлюцинированную ссылку на реальную, они заменили её на пять-шесть-семь-восемь новых. Это говорит о том, что исходное утверждение в отчёте вообще не базировалось ни на каком конкретном источнике». Очень вероятно, что Deloitte попросила GPT придумать обоснование — он и придумал.

В обновлённой версии в разделе методологии Deloitte признала использование «генеративной ИИ большой языковой модели (Azure OpenAI GPT-4o), лицензированной DEWR и размещённой на Azure-инфраструктуре департамента». Якобы её использовали для устранения «пробелов в прослеживаемости и документации».

Радж приравнял это к признанию ошибки из-за ИИ:

«Это больше не «сильная гипотеза». Deloitte выдала признание, пусть и спрятанное в разделе методологии. Они признали использование генеративного ИИ для основной аналитической задачи, но не раскрыли это изначально».

По его словам, рекомендациям отчёта больше нельзя доверять: «Когда сам фундамент отчёта построен на ущербной, изначально нераскрытой и неэкспертной методологии — рекомендациям доверять нельзя».

Сенатор-лейборист Дебора О’Нил (опять этот труд!), участвовавшая в расследовании консалтинговых фирм, заявила:

«У Deloitte проблемы с человеческим интеллектом. Это было бы смешно, если бы не было так печально. Частичный возврат выглядит как частичное извинение за работу ниже стандарта. Возможно, вместо большой консалтинговой фирмы покупателям лучше оформить подписку на ChatGPT».

Департамент занятости настаивает, что «суть независимого обзора сохранена, изменений в рекомендациях нет», но отказался отвечать на вопросы о том, считают ли они ошибки следствием использования ИИ.

Для Deloitte это особенно неловкая ситуация, потому что компания зарабатывает растущую часть своих $107 млрд годовой выручки на консультациях по ИИ, хвастается широким использованием технологии и при этом подчёркивает необходимость человеческой проверки любого вывода ИИ.

С 2021 года Deloitte заключила контрактов с этим департаментом почти на $25 млн. Департамент отказался отвечать, будет ли дальше работать с Deloitte или попытается вернуть весь гонорар.

Но для всех, кто зарабатывает на консалтинге, это тревожный звоночек.

Скрытый текст

Такие посты чаще выходят у меня в Telegram-канале, где в основном пишу про AI и его применение. Что? Сам раскрыл этот спойлер.

Источник: habr.com