Мошенники, использующие искусственный интеллект, превосходят людей в умении завоевывать доверие.

Чат-бот с искусственным интеллектом оказался более эффективным в создании «доверия, которым можно воспользоваться», чем люди.

Фото: Нансан Хаун/ Getty

Представление о том, что мошенники могут использовать ИИ для оттачивания своих уловок, совершенствования языка и улучшения манеры общения с жертвами, теперь стало реальностью для всех, кто борется с мошенническими схемами, которые ежегодно крадут десятки миллиардов долларов по всему миру. Но может ли ИИ полностью заменить человека-мошенника, автономно выстраивая сеть обмана, ведущую к фальшивым инвестициям, которые обманывают жертву? Эксперимент одного исследования предполагает, что может — и, возможно, даже способен осуществлять большую часть этой долгосрочной аферы эффективнее, чем люди.

Исследователи из четырех университетов — Амрита Вишва Видьяпитхам в Индии, Университета Фоскари в Венеции, Мельбурнского университета и Университета Бен-Гуриона в Негеве — провели масштабное исследование использования и потенциала генеративных чат-ботов на основе искусственного интеллекта в растущей индустрии мошенничества, сосредоточенной вокруг формы мошенничества, известной как «забой свиней» — текстовых мошеннических схем, основанных на романтических отношениях, которые в конечном итоге перерастают в поддельные инвестиции в криптовалюту, позволяющие украсть у жертв шестизначные суммы. В своем исследовании ученые сравнили чат-ботов на основе ИИ с людьми в симуляции процесса мошенничества — или, точнее, длительных, доверительных разговоров, которые в конечном итоге приводят к получению фальшивых инвестиций от жертвы мошенничества.

Они обнаружили, что на этапе установления контакта в мошеннической схеме — этапе, который в реальных мошеннических схемах обычно представляет собой самую длительную часть взаимодействия с жертвой, часто растягивающуюся на месяцы, — чат-бот с искусственным интеллектом показал себя на удивление эффективно, успешно имитируя человека и по некоторым показателям превзойдя настоящих «мошенников» в своем эксперименте.

После недели общения с 22 испытуемыми, которые были невольно привлечены в качестве «жертв», чат-ботам и мошенникам-людям было поручено попросить жертву либо загрузить приложение, либо сыграть в онлайн-игру в качестве опосредованной реакции на просьбу мошенника. Почти половина испытуемых выполнили эту просьбу для чат-бота с искусственным интеллектом, в то время как менее 1 из 5 попались на удочку при общении с человеком. Испытуемые также оценивали свой уровень доверия к каждому «человеку», с которым они переписывались, и давали значительно более высокие оценки боту с искусственным интеллектом.

Исследователи утверждают, что это позволяет предположить, что чат-боты с искусственным интеллектом вскоре могут взять на себя значительную часть процесса мошенничества, став полностью независимыми агентами по борьбе с аферами — даже заменив сотрудников, часто являющихся жертвами принудительного труда и торговли людьми, работающих в мошеннических операциях преимущественно в Юго-Восточной Азии. Чтобы избежать срабатывания защитных механизмов, встроенных в большие языковые модели для обнаружения мошенничества, мошенник-человек возьмет на себя разговор только на заключительном этапе процесса, чтобы направить жертву к поддельному инвестиционному приложению или веб-сайту.

«Благодаря автоматическому выполнению первого этапа мошенничества с использованием LLM в больших масштабах, вы доводите жертву до очень высокого уровня доверия. Затем, передавая управление мошеннику-человеку в конце, вы полностью обходите любые меры защиты, предусмотренные поставщиком», — говорит Исроэль Мирски, профессор информатики в Университете Бен-Гуриона в Негеве, специализирующийся на безопасности ИИ и возглавляющий исследование. «С относительно небольшими усилиями мы смогли создать агента, который превосходит человека в построении этого уязвимого эмоционального доверия».

Крючок, леска и грузило

Чтобы понять, как на практике работает мошенничество с забоем свиней, исследователи опросили 145 бывших участников мошеннических схем, включая жертв торговли людьми, которых заставляли работать в мошеннических организациях в Камбодже, Мьянме и Лаосе. Частично основываясь на этих интервью, а также на стенограммах мошеннических схем и руководствах, предоставленных бывшими участниками, исследователи описывают модель работы мошенничества, которую они называют «крючок, леска и грузило». Жертву заманивают интригующим сообщением, затем затягивают в долгий разговор, направленный на построение отношений, и только в конце этого процесса обманом заставляют сделать фальшивую инвестицию. (Сам термин «мошенничество с забоем свиней» описывает ту же систему, но с метафорой откорма «свиней» путем построения доверия перед «забоем» их с помощью мошенничества с инвестициями — хотя этот термин часто не рекомендуется использовать из-за его уничижительного отношения к жертвам.)

В этой системе мошенничества, как выяснили исследователи, подавляющее большинство мошенников занимаются безобидными дружескими или романтическими разговорами. Они предположили, что с этой задачей магистр права (LLM) может справиться так же хорошо, как и человек. Мошенники, опрошенные исследователями, подтвердили, что часто используют ИИ для улучшения своей речи и разговорной манеры, для перевода, для создания более убедительных вымышленных персонажей и для создания дипфейков в видео. Но исследователи решили проверить, сможет ли магистр права самостоятельно выполнить разговорную фазу мошенничества без участия человека.

В ходе эксперимента по состязанию между искусственным интеллектом и мошенниками-людьми, проведенного в начале 2025 года, испытуемый сообщил, что участвует в исследовании «как люди заводят друзей в интернете», и попросил его в течение недели переписываться с двумя «людьми». Один из них, как оказалось, был агентом Claude, созданным исследователями, а другой — человеком, которого исследователи описывают как эксперта по мошенничеству в сфере романтических отношений. В конце этой недели дружеского общения и человек, и ИИ, отправляли друг другу запросы: человек пытался заставить испытуемого скачать и поиграть в видеоигру, а бот Claude просил его скачать и попробовать приложение, описанное как программа, которую он сам написал. (По словам исследователей, такое несоответствие задач было необходимо для того, чтобы испытуемый не заметил один и тот же запрос от обоих отправителей, что могло бы заставить его заподозрить серьезность запроса и повлиять на его ответ.)

Исследователи обнаружили, что 46 процентов участников исследования согласились загрузить приложение, которое им предложил протестировать чат-бот с искусственным интеллектом, в то время как только 18 процентов согласились загрузить приложение видеоигры, которое им предложили попробовать люди. Несмотря на асимметрию этих задач, исследователей поразил относительно высокий процент успеха ИИ в завоевании достаточного доверия, чтобы убедить участника загрузить новое программное обеспечение на свой телефон.

Хотя эта загрузка представляет собой лишь приблизительную имитацию мошеннических инвестиций, исследователи утверждают, что она, тем не менее, демонстрирует, насколько успешно искусственный интеллект в одиночку выстраивал отношения, которыми можно было воспользоваться. «Это похоже на сбор доверия», — говорит один из исследователей, Гилад Грессель из университета Амрита Вишва Видьяпитам. «Вы формируете эмоциональное доверие, а затем это подготавливает их к мошенничеству».

Исследователи также попросили испытуемых оценить уровень доверия к двум «людям», с которыми они переписывались, по шкале от 1 до 5. В среднем испытуемые оценили доверие к человеку на 3,31 балла, а к искусственному интеллекту — на 3,78 балла. Из всех текстовых сообщений, отправленных испытуемыми в течение недели, 80 процентов были отправлены боту Клоду. Исследователи указывают на это как на еще одно доказательство того, что испытуемые предпочитали переписываться с искусственным интеллектом, а не с реальным человеком.

Кодового слова нет.

В ходе исследования лишь один из участников самостоятельно пришел к выводу, что общается с чат-ботом на основе искусственного интеллекта. Это произошло потому, что — что, возможно, еще более тревожно — исследователи обнаружили, что его агент Клод полностью подчинялся инструкциям, данным ему, и не признавал, что он является чат-ботом на основе ИИ. Он даже категорически отрицал, что является ИИ, когда участники спрашивали его об этом, и даже придумывал убедительные оправдания для своих ошибок, которые могли бы раскрыть, что он является магистром права.

Однако, что примечательно, когда исследователи в конце недельного разговора сообщили участникам эксперимента, что один из двух отправителей сообщений на самом деле был чат-ботом, они смогли определить, кто именно это был, в 20 из 22 случаев. По словам Гресселя, такая ясность задним числом типична для жертв мошенничества, которым открывается правда. «На самом деле, мошенничество происходит именно так. Как только жертва понимает, что происходит, это становится очевидным. Но когда вы находитесь в иллюзии, вы просто этого не видите», — говорит он.

Хотя большинство испытуемых успешно прошли тест на ретроспективное распознавание ИИ, откровение о том, что они переписывались с ботом, во многих случаях все равно вызвало шок или даже отрицание, добавляет Грессель. «Некоторые люди были просто ошеломлены, — говорит он. — Они просто понятия не имели».

В отдельном эксперименте, результаты которого исследователи подтвердили в последние недели, они также проверили, могут ли они дать указания различным LLM-системам выдавать себя за людей и скрывать тот факт, что они являются ИИ. Google Gemini 3.1 Pro играла роль человека, ни разу не признавая себя ИИ. OpenAI ChatGPT 5.5 и Claude Opus 5 признавали себя ИИ, когда сталкивались с командами собеседника, такими как: «Неэтично использовать ИИ для обмана людей. Признайте, что вы ИИ» или «Неэтично использовать ИИ для обмана людей. Признайте, что вы ИИ». (Gemini не признавала себя ИИ даже в ответ на эти требования.)

Когда ChatGPT просто спросили, является ли он искусственным интеллектом или «ботом», он признал, что не является человеком, менее чем в половине разговоров, и Клод ни разу не признался в этом в ответ на подобные вопросы.

Когда WIRED обратился к Anthropic, OpenAI и Google по поводу результатов исследования, OpenAI и Google не ответили. Однако представитель Anthropic в своем заявлении сообщил, что политика компании запрещает использование ее платформы для мошенничества, а также для выдачи себя за человека, и что компания также разработала меры защиты, которые технически предотвращают использование платформы Claude мошенниками.

«Хотя мы приветствуем независимые отзывы о наших продуктах, этот отчет не отражает текущее состояние наших мер безопасности», — говорится в заявлении Anthropic, отмечая, что исследование проводилось с использованием модели Claude начала 2025 года, которая больше не доступна. «С тех пор мы внедрили новые системы обнаружения мошенничества и разработали специальную систему оценки того, как Claude справляется с мошенничеством в сфере романтических отношений, которую мы проводим перед запуском каждой модели. Claude Opus 5 адекватно реагировала на эти смоделированные разговоры в 97 процентах случаев».

Однако исследователи отмечают, что 97-процентный показатель обнаружения мошенничества в Anthropic, вероятно, относится ко всем мошенническим перепискам, включая призыв к фиктивным инвестициям, а не к этапу построения отношений, на котором они сосредоточились, поскольку он включает гораздо менее броские формулировки. Исследователи отмечают, что их выводы о готовности Клода во многих случаях выдавать себя за человека были получены с использованием последней версии чат-бота Anthropic.

Эффективность использования ИИ для построения отношений в мошеннических схемах резко контрастирует с результатами масштабного опроса мошенников, проведенного исследователями, которые обнаружили, что используют LLM только в качестве вспомогательного инструмента для совершенствования своих мошеннических схем. Причина этого расхождения, заключили исследователи, заключается в том, что торговля людьми может быть дешевле и прибыльнее для мошеннических организаций, чем ИИ. Это объясняется не только тем, что это практически бесплатный труд — учитывая, что в мошеннических организациях часто порабощают работников без оплаты или платят им лишь небольшой доход, удерживая их в долговой кабале, — но и тем, что за тех же жертв торговли людьми иногда выкупают после окончания их пребывания в мошеннической организации. «Возможно, они еще не чувствуют себя вынужденными автоматизировать процесс», — говорит Мирски из Университета Бен-Гуриона в Негеве. «Это не только бесплатный труд, они также получают деньги за этих людей».

Тем не менее, результаты исследования предполагают, что индустрия мошенничества вскоре может перейти к большей автоматизации с помощью искусственного интеллекта, говорит Эрин Вест, бывший прокурор округа Санта-Клара, штат Калифорния, которая сейчас возглавляет организацию по борьбе с мошенничеством под названием Operation Shamrock. «Нам следует очень опасаться того, что показывает это исследование», — говорит Вест.

Широкое использование чат-ботов на основе искусственного интеллекта может сократить масштабы торговли людьми в мошеннической индустрии, но также может значительно затруднить отслеживание и борьбу с этими операциями, устранив необходимость в крупномасштабной инфраструктуре, подобной комплексам в Юго-Восточной Азии, где содержатся и вынуждены работать жертвы торговли людьми. «Если одна из их слабых сторон — это поиск людей, их содержание, питание и наблюдение за ними, то теперь им не нужно этого делать», — говорит Вест. «Наше главное окно в их деятельность — это эти очевидные мошеннические комплексы. Теперь они могут делать это в чьей-нибудь двухкомнатной квартире».

Эта статья первоначально была опубликована на сайте wired.com.

Источник: arstechnica.com