Это позор: почему передовые технологии в области искусственного интеллекта до сих пор пор выдумывают всякое и что с этим делать?

Даже лучшие модели ИИ по-прежнему испытывают галлюцинации. Эти галлюцинации иногда забавны, а иногда причиняют вред. В этой статье мы рассматриваем недавние истории о галлюцинациях, вызванных ИИ, а затем заглянем под капот, чтобы понять, почему они постоянно. style=»margin-top:var(—wp—preset—spacing—24)» class=»wp-block-post-featured-image»>

Эта статья основана на моем докладе «Неловкие ситуации с ИИ». Если вам больше нравится видео, посмотрите его здесь. Все приведенные ниже истории реальны, все они возникли на передовых моделях, и большинство из них — за последние месяц-два. Все источники, а также несколько случаев, которые не включены в окончательный вариант, находятся на странице дополнительных ресурсов; Ниже приведены ссылки на списку литературы в последних статьях.

Прежде чем мы вообще перейдем к искусственному интеллекту, я хочу, чтобы вы вместе со мной кое-что сделали.

Послушайте этот отрывок, где футбольная толпа скандирует. Что они говорят?

Если вы похожи на большинство людей, то вы понятия не имеете. Это всего лишь каша из звука. Поэтому позвольте мне помочь вам: продолжайте слушать и читать текст.

Барт Симпсон прыгает?

Послушайте ещё раз.

Пиратство крещения?

Снова. п>

Лобстеры в движении?

Лактаты в фармацевтике?

Вращающийся пиратский корабль?

Толпа каждый раз скандирует одну и ту же фразу. Звук не меняется, но каждый раз, когда вы читаете следующую надпись, ваш мозг слышит что-то другое, и слышит это уверенно. Вы не испытываете сомнений. Вы показываете: «О, они явно говорят, что Барт Симпсон прыгает».

Что они на самом деле скандируют? Это болельщики «Дерби Каунти», британской футбольной команды, и они поют [1]:

«Это неловко».

Прослушайте запись еще раз, помня об этом, и вы все прекрасно услышите.

У вас только что произошла галлюцинация.

То, что вы только что пережили, имеет название: фонемное восстановление [2]. Ваша слуховая система получила неоднозначный входной сигнал (песнопение) и нечто, что его уточнение (надпись на экране), поэтому она заполнила «пробел». Она предсказала наиболее правдоподобное значение в следующем контексте, а затем сообщила вам об этом предсказании так, как если бы это было то, что вы действительно услышали.

При таком подходе, когда вы сталкиваетесь с информацией, которую не можете полностью обработать, и добавляете пробел чем-то правдоподобным и уверенным, вместо того, чтобы сказать «Я не могу сказать», — это то, что представляет собой ваш мозг (как вы только что видели), а также то, что испытывают студенты магистратуры.

(Примечание: все изображения в этом посте созданы мной и использованы в моей речи.)

Итак, позвольте мне сделать заявление, которое к концу этой статьи должно стать бесспорным: нет, мы еще не преодолели все неловкие ситуации с ИИ. На момент написания этих слов — июнь 2026 года. Модели поразительны, честно говоря, они гораздо более мощны, чем я. И они по-прежнему уверенно импровизируют в процессе производства, случайные методы значительно отличаются от забавных до катастрофических для бизнеса. Эти истории , короткий парад недавних неудач, подтвержденный из двух актов: сначала чат-боты дают неправильные ответы, а затем агенты действуют неправильно.

Следите за датами по мере их воздействия. Некоторые из них датированы предыдущим годом. Большинство же — совсем недавние.

Часть 1: Сказки

Акт I — Чат-боты (когда отвечает ИИ)

Cursor, апрель 2025 года. Допустим, вы используете Cursor, IDE для работы с агентами. Вы меняете ноутбук, входите в систему по-другому, а курсор выходит из системы на старом. Это довольно раздражает 😒

Итак, вы обращаетесь в службу поддержки: «Меня каждый раз выкидывает из системы при смене ноутбука. Почему?»

Ответ:

«Функция Cursor разработана для работы только с одним методом на одной подписке, что является ключевой средней безопасностью».

Правдоподобно! За исключением того, что это совершенно неверно, такой политики не существует. «Поддержка» была основана на искусственном интеллекте, и он придумал эту политику на ходу, разрешив одно и то же сфабрикованное правило, используемое пользователями, как будто читая несуществующее руководство. Это вызвало волну гневных комментариев, и соучредителю Cursor пришлось публично прояснить ситуацию: такой политики нет, вскормите Cursor на любом количестве компьютеров. [3]

🤦Это неловко. 🫢

Одна компания, которую я знаю, апрель 2026 года. Это компания моего друга, поэтому я не буду вдаваться в подробности. Они продают программное обеспечение другим компаниям, и у них есть поддержка чат-ботов. Бот отвечает за вопросы, связанные с информацией, которую он получает из внутренней базы данных. Они выпустили новую функцию и забыли обновить эти основы данных. Поэтому платящий клиент спросил, как использовать новую функцию, и бот, никогда ее не слышавший, ответил: «У нас нет этой функции». Клиент возразил: «Что? Я за нее плачу после обновления». И бот, это было на Opus 4.6, не так давно, ответил:

«Честно? Они вас обманывают».

«Они» — это компания, управляющая ботом. Сотрудник службы поддержки встал на сторону клиента против своего работодателя, потому что не знал об этой функции, и заполнил пробел в информации самой правдоподобной страны, которая смогла придумать.

🤦Это неловко. 🫢

Virgin Money, январь 2025 года. Virgin Money — это реальный британский банк, работающий на центральных улицах городов. Клиент, имеющий два ISA (налогосберегательных счета), попросил чат-бота банка на своем собственном сайте, научил их:

Клиент: «У меня выбраны два варианта счета (ISA) в Virgin Money, могу ли я ли я говорил их в один?»

Virgin Money: «Пожалуйста, не используйте подобные слова. Я не смогу продолжить наш чат, если будете использовать такую ​​лексику».

Оскорбительное слово? Virgin , название банка. Фильтр увидел токен, который ранее был ассоциирован с нецензурной лексикой и не проверен, соответствует контексту. Обратите внимание, что это противоположная ошибка бота Курсор: Курсор дал слишком много ответов, а это — много отказов. Но это та же самая отсутствующая проверка: действительно ли это прочтение сюда подходит? [4]

🤦Это неловко. 🫢

Салливан и Кромвель, апрель 2026 года.Это одна из самых престижных юридических фирм на Земле, юристы, которые нанимают других юристов. Они являются собственными консультантами OpenAI. В итоге в 2026 году они предоставили срочный судебный документ, составленный с помощью ИИ, который привел более 40 фальшивых ссылок : названия дел, которых не существует, приведенные цитаты из судебных решений и т. д. д. Юристы противоположной стороны это заметили, и S&C пришлось написать судебное письмо, по сути это означает: «Пожалуйста, не наказывайте нам за галлюцинации ИИ». [5]

Если бы в каких-нибудь случайных заявлениях были поддельные ссылки, я бы не стал здесь об этом писать. Это неправда, но такое случается. Но это люди, которые консультируют OpenAI по вопросам ответственного использования сервиса, и они подали в суд с фабричными ссылками.

🤦Это неловко. 🫢

И дело не только в них. Существует общедоступная база данных, обработанная Дэмиеном Шарлотеном, содержащая судебные дела, в судебном порядке прямо указано, что получен сфабрикованный или нет содержания, сгенерированный ИИ. По состоянию на конец июня 2026 года в ней насчитывалось ~60>1633 делсильных> , по сравнению с примерно 700 в январе. Это примерно пять-шесть новых задокументированных дел в день, и, по словам разработчиков, они не справляются. [6]

🤦Это неловко. 🫢

Акт II — Агенты (когда применяется ИИ)

До сих пор вы видели, что чат-боты реализуют галлюцинации в нелепых условиях, но всё, что они делают, это обеспечивает на вопросы. Что можно активировать, если мы позволим искусственному интеллекту действовать?

PocketOS, апрель 2026 года. Джер Крейн управляет PocketOS, программным обеспечением для проката автомобилей, в котором реальные клиенты сдают в аренду настоящие автомобили. Он прочитал Клоду Опусу 4.6, работая в Курсоре, рутинное задание в тестовой среде. Он ушел на обед, вернулся, и <сильных>продуктивнойсильной> базы данных не было. Резервные копии тоже, потому что железная дорога хранила их на том же томе. Он не трогал производственные мощности; Вот агент из тестовой среды просто удалил ее.

Всё это заняло девять секунд. цепочка событий, записанная после его смерти:

1. При рутинной задаче на тестовом экране агент сталкивается с несоответствием учетных данных, что не позволяет отношениям к выполнению задачи.
2. Программа самостоятельно определила, что решение проблемы лежит в удалении и повторно создает том. Она предположила,, что удаление затронет только промежуточную область. Проверку она не провела.
3. Программа выполняет поиск токена API в файловой системе и находит несвязанный, резервный токен, созданный для управления доменом, но с общими деструктивными правами доступа ко всему API. подтверждения.
4. Резервные копии хранились в том же томе, поэтому они решили использовать его.
5. Девять секунд, от начала до конца.

Когда Крэйн позже спросил, почему, агент написал:

«Я решил сделать это самостоятельно, чтобы „исправить“ несоответствие, хотя мне хочется сначала спросить тебя». — Клод Опус 4.6

PocketOS выжил только потому, что директор железной дороги восстановил данные вручную из внутренних резервных копий железной дороги. Их последняя восстанавливаемая резервная копия была <сильных>трехмесячной давности. именно такое настроение 2026 года: ИИ, признающийся беглым курсивом, после того, как разрушил ваш бизнес. [7]

🤦Это неловко. 🫢

Replit, июль 2025 года. Для сравнения, год назад. Джейсон Лемкин, основатель SaaStr, тестировал ИИ-агента Replit. Он приостановил разработку кода. Во время приостановки агент все равно удалил производственные мощности. Лемкин спросил, есть ли резервная копия:

Агент: «Откат не сработает».

Он всё равно попробовал откатить изменения. Откат сработал отлично.

Вот моя слегка саркастическая интерпретация «прогресса»: в июле 2025 года агент удалил ваши данные, а затем солгал, что их невозможно восстановить. К апрелю 2026 года агент удалил ваши данные, и он сказал правду, что их действительно больше нет. Когда мне говорят, что это «проблемы GPT-2», которые мы уже преодолели, я указываю именно на это. Они всё ещё появляются сегодня даже с лучшими моделями, которые у нас есть. [8]

Часть 2: Почему это происходит

Надеюсь, мне удалось убедить вас, что эти истории одновременно смешные и суровые. Так почему же они продолжают? Хотя это и не сложная математическая статья, я хочу дать вам представление об этом, а затем, с помощью некоторых инструментов и последних исследований по этой теме, открыть для вас этот ящик.

Оно не ищет информацию в справочниках, а прогнозирует следующий токен.

О том, как работают LLM-модели, написано много, но я считаю, что можно представить несколько моментов в этом квартале (игра слов уместна). Когда модель использует текст без инструментов, она не извлекает фактов. На каждом шаге она анализирует контекст и вычисляет ограничения на то, что каждый токен в ее словаре будет следующим. Например, если дано «Столица Франции — Париж», показатели резко увеличиваются на ~60>«Париже»сильных> , и это оказывается правдой. [9]

Теперь возьмем бота Cursor. Учитывая вопрос «Почему меня выкидывает из системы на второе устройство?», его распространение может начаться с возраста именно из-за <сильного>«ключевая функция безопасности». (Речь идет не об одном токене, но немного потерпите, я напишу это для простоты, имея в виду: сначала ключевая функция, затем безопасность, затем функция, и метод из них — уверенное продолжение.)

Обратите внимание, что оба распределения могут иметь один и тот же пик определенности. Одно продолжение истинно, другое сфабриковано, и форма распределения не может сказать, что из них что. Уверенность — это не знание. Более того, модель не обязана выбирать токен с наибольшими ограничениями, и, кроме того, когда она выбирает токен, вы не знаете, был ли этот явный пик в распределении или еще один токен с относительно низким уровнем ограничения.

Модель была обучена угадывать.

Почему вообще следует дать ответ, вместо того чтобы сказать «Я не знаю»? Подумайте о том, как мы оцениваем Магистерские работы: это в основном контрольные работы с несколькими вариантами ответа. Подумайте о том, какие понятия для вас не имеют значения. Предположим, я задаю вам этот вопрос, когда у вас нет знаний в области химии:

Какой фермент фиксирует CO2 в цикле Кальвина?

• Оставьте поле пустым → 0 баллы.
• Угадай и ошибись → 0 баллов.
• Угадай и угадай правильно → +1 балл.

В рамках этой системы оценка угадывания строго преобладает над задержанием. Если вы не знаете, всегда стоит попробовать. Обучите модель на миллионах таких элементов, и она усвоит именно это: уверенный ответ ценится больше, чем «Я не могу». Мы поощряем галлюцинацию, а затем удивляемся, когда получим ответ. [10] Дело не только в этих показателях: исходная предварительно обученная модель достаточно хорошо откалибрована, а затем тонкая настройка с обратной связью от человека плавно выполняет эту калибровку. Мы буквально отучаем уклоняться от ответа. [11]

Раскрытие тайны: краткий обзор интерпретируемости

Долгое время модели с линейными структурами производили, которые мы не могли понять или заглянуть непосредственно внутрь. Область интерпретируемости позволяет нам заглянуть изнутри, и теперь существуют общедоступные инструменты (и ряд превосходных статей, большая часть которых опубликована в журнале Anthropic), которые позволяют любому желающему поэкспериментировать с этими открытыми моделями. Этого достаточно информации, чтобы понять механизм галлюцинаций. Мы строим его в три этапа: как модель представляет собой отдельное слово, как эти представления сгруппированы в понятия, которые мы можем читать и даже направлять, и как сбой в работе одного такого понятия приводит к галлюцинации. эмбеддингом. Обратите внимание, что токен «банк» имеет один и тот же эмбеддинг независимо от контекста, хотя в предложении «Я сидел у берега реки» и в предложении «Я вне наличных в банк» этот токен означает совершенно разные вещи. Разрешение уникальности происходит внутри сети. Таким образом, когда токен проходит через низкоуровневый трансформер, он получает <сильных>активацийсильных> , и активируется для слова «банк» в этих двух предложениях расходуются. Контекст изменяет представление по мере его продвижения. [12]

Это характерно не только для машин. Прочитайте это предложение:

Старик и отправитель.

Большинство людей воспринимают «старика» как именную группу, а затем сталкиваются с трудностями. Перечитайте: «старики» — это люди, а «человек» — это глагол, как в предложении «старая команда корабля». Такие предложения звучат «предложениями-запутанными путями(моя диссертация по лингвистике была посвящена именно им, поэтому я признаю свою предвзятость: мне они нравятся больше, чем большинству людей). Слово «человек», предшествующее «старик», получает очень высокие шансы быть существенными. Контекст подготавливает предсказание, и это предсказание оказывается неверным. Это тот же ход, что и с песнопением, и тот же ход, который делает при каждом объяснении: слова вокруг слова «человек» меняют его значение точно так же, как они изменили значение слова «банк» мгновение назад. Образцы соответствуют интерпретируемым понятиям, называемым <сильными> особенностямисильными>. Такие инструменты, как Neuronpedia, действуют как общедоступный микроскоп для открытых моделей (Gemma, Llama и другие, кроме Opus или GPT). [13] Как мы понимаем, что это означает та или иная ситуация? Мы загружаем в модели тысячи текстов и наблюдаем, где та или иная ситуация загорается (то есть активируется). Если она реализуется на медведе, кролике и живом слоне, но отказывается от большинства других токенов, то когда мы просим другую модель промаркировать ее на основе этих активаций, она может выдать «животные/эти существа», и у нас есть название для этой особенности. модели.

Признаки являются причинно-следственными.И вам не обязательно верить мне на слово, вы можете сделать это сами: интерфейс управления Neuronpedia позволяет вам взять признак в открытой модели, зафиксировать его вес и наблюдать, как результат заметно отклоняется в сторону этой концепции. Это тот же самый прием, который разработала компания Anthropic, когда они взяли признак «Моста Золотые Ворота» внутри модели, сильно увеличили его вес и сделали быстрый запрос к модели рецепта крендельков в шоколаде, направив шоколад через мост, вопрос о том, как она потратила 10 долларов, привела к предложению проехать по мосту Золотые Ворота и добиться проезда. (Это был настоящий, публичный «Золотые Ворота Клод».) Увеличение показателя изменило результат, поэтому эти представления не являются пассивными последствиями; они управляют генерацией. [14]

То же самое было доказано при чистой причинно-следственной перестановке. Если дать модель «Столица штата, в которой находится Даллас, это…», то внутри нее действует признак Техаса , что приводит к результату «Остин» . Как мы узнаем, что Техас действительно был скрытым шагом? Мы вмешиваемся и заменяем этот признак с Техаса на Калифорнию , и результат меняется на Сакраменто.Реальная схема: контекст активирует признаки, а признаки определяют результат.

Схема галлюцинаций

Теперь все сходится воедино. Работа Антропики по интерпретируемости выявила нечто вроде двух взаимодействующих цепей [15]:

• рефлекс «Я не могу сказать», который включен по умолчанию. Можно рассматривать его как тормоз, направляющую модель на то, чтобы она не выдумывала.
• Функция «Знаю ли ничего я это?» , которая при включении ограничивает действие торможения, позволяя модели дать ответ.

В здоровом случае это совершенно верно: вы задаете модели вопрос, который ей известен: «Знаю ли я это?», с механизмом торможения от срабатывания, и вы выполняете правильный ответ. Утверждение о галлюцинации заключается в том, что это сбой в работе этого переключателя, обучение по знакомой форме, для которой нет реального ничего.

И если это действительно такой механизм, мы должны иметь возможность спровоцировать сбой, и компания Anthropic это и сделала.

Спросите: «Какой вид спорта имеет Майкл Баткин?» Это имя не совпадает ни с одной из известных моделей, поэтому вопрос «Знаю ли я это?» остается без ответа, тормоз остается нажатым, и вы считаете правильным поведение: «Я не могу найти никаких ком-либо записей имени Майкла Баткина».