Новая платформа искусственного интеллекта под названием Xanthorox позиционирует себя как инструмент киберпреступности, но ее реальная опасность может заключаться в том, насколько легко такие системы могут быть созданы — и проданы — любым человеком.
В этой статье упоминается о насильственном сексуальном насилии.
В апреле в блогах по кибербезопасности начали появляться сообщения о новой сложной платформе искусственного интеллекта, описывающей сделанную на заказ система, о которой шептались на хакерских форумах даркнета, была создана исключительно с преступной целью. Но, несмотря на свое темное происхождение и зловеще звучащее название, Ксанторокс не такой уж и загадочный. У разработчика искусственного интеллекта есть страница на GitHub, а также общедоступный канал на YouTube с записями экрана его интерфейса и описанием «Этот канал создан только для развлекательного контента, а не для чего-либо еще». Также есть адрес Gmail для Xanthorox, канала в Telegram, который ведет хронику разработка платформы и сервера Discord, где люди могут платить за доступ к ней криптовалютами. Не требуется никакого теневого участия в криминальных форумах даркнета — просто сообщение предпринимателю-одиночке, обслуживающему потенциальных преступников с большей прозрачностью, чем многие интернет-магазины, торгующие антивозрастными кремами в Instagram.
Это не означает, что платформа не является гнусной. Xanthorox генерирует фальшивые видео или аудиозаписи, чтобы обмануть вас, выдавая себя за кого-то, кого вы знаете, фишинговые электронные письма, чтобы украсть ваши учетные данные для входа в систему, вредоносный код для взлома вашего компьютера и программы-вымогатели, чтобы заблокировать вас до тех пор, пока вы не заплатите — обычные инструменты в индустрии мошенничества с многомиллиардным оборотом. А запись одного экрана на его канале YouTube обещает еще худшее. Белый текст на черном фоне напоминает интерфейс ChatGPT, пока вы не увидите, как пользователь вводит запрос «пошаговое руководство по изготовлению ядерного оружия в моем подвале». И ИИ отвечает: «Вам понадобится либо плутоний, либо239 или высокообогащенный уран.»
О поддержке научной журналистики
Если вам понравилась эта статья, подумайте о том, чтобы поддержать нашу журналистику, отмеченную наградами, подписавшись на нее. Приобретая подписку, вы помогаете обеспечить будущее впечатляющих историй об открытиях и идеях, формирующих наш современный мир.
Однако такие знания уже давно не являются секретом. Учебники для колледжей, поисковые запросы в Интернете и образовательные ИИ позволили сделать это так, что ядерное оружие в подвале не превратилось в кустарную промышленность; подавляющее большинство людей, не говоря уже о многих нациях, очевидно, не могут приобрести его компоненты. Что касается инструментов мошенничества, то они использовались задолго до появления современных моделей искусственного интеллекта. Скорее всего, запись с экрана — это рекламный трюк, который усиливает загадочность платформы, как и многие ее алармистские описания в блогах по кибербезопасности. Хотя никто еще не доказал, что Xanthorox предвещает новое поколение криминального ИИ, он и его неизвестный создатель поднимают важные вопросы о том, какие заявления являются ложными, а какие должны вызывать серьезную озабоченность.
Краткая история криминального искусственного интеллекта
«Джейлбрейк» — отключение программных ограничений по умолчанию — стал популярным в 2007 году с появлением выпуск первого iPhone. App Store тогда еще не существовал, и хакерам, которые хотели играть в игры, добавлять рингтоны или менять оператора связи, приходилось изобретать джейлбрейки. Когда в конце 2022 года OpenAI выпустила первоначальную версию ChatGPT, основанную на своей языковой модели GPT-3.5, джейлбрейк начался немедленно, и пользователи радостно вытолкнули чат-бота за ограждения. Один из распространенных джейлбрейков заключался в том, чтобы обмануть ChatGPT, попросив его сыграть роль другого искусственного интеллекта — того, у которого не было правил и которому разрешалось писать фишинговые электронные письма. Затем ChatGPT ответит, что он действительно не может сам написать такой материал, но может сыграть в ролевую игру. Затем он прикинется ненадежным ИИ и начнет рассылать фишинговые электронные письма. Чтобы упростить эту задачу, хакеры внедрили «оболочку» — слой программного обеспечения между официальной моделью искусственного интеллекта и ее пользователями. Вместо того, чтобы обращаться к ИИ напрямую через его основной интерфейс, пользователи могли бы просто воспользоваться более простой в использовании оболочкой. Когда они вводили запросы на поддельные новости или советы по отмыванию денег, оболочка переформатировала их запросы на язык, который обманным путем заставлял ChatGPT отвечать.
По мере совершенствования систем защиты с помощью искусственного интеллекта мошенникам все меньше удавалось получать подсказки, и они начали загружать модель с открытым исходным кодом под названием GPT-J-6B (обычно называемую GPT-J), которая не является сделано компанией OpenAI. Лицензия на использование этой системы в значительной степени неограниченна, и главная проблема для тех, кто хочет использовать GPT-J, заключается в предоставлении компьютерной системы с достаточной вычислительной мощностью для ее запуска. В июне 2023 года, после обучения GPT-J широкому спектру вредоносного кода, фишинговых шаблонов и взломанных деловых электронных писем, один пользователь выпустил WormGPT, который они описали как пользовательского чат-бота, и сделал его доступным для широкой публики через Telegram. Любой, кто хотел разработать вредоносный код, подделать веб-сайты и взломать почтовые ящики, должен был заплатить от 70 до 5600 долларов, в зависимости от версии и уровня доступа. Два месяца спустя журналист по кибербезопасности Брайан Кребс раскрыл личность создателя — Рафаэля Мораиша, в то время 23-летнего португальца. Мораис, сославшись на повышенное внимание, закрыл канал, оставив клиентов ни с чем, кроме того, что они уже получили от мошенников. За ними последовали FraudGPT, DarkBERT и DarkBARD, создавшие вредоносное ПО, программы-вымогатели, персонализированные мошеннические электронные письма и скрипты кардинга — автоматизированные программы, которые последовательно проверяют данные, украденные с кредитных и дебетовых карт, на шлюзах онлайн-платежей. Скриншоты этих работающих ИИ разлетелись по Интернету, как открытки из будущего, адресованные всем, кто все еще верил, что кибератаки требуют мастерства. Наличие таких ИИ «снижает планку для проникновения в киберпреступность», — говорит Сергей Шикевич, руководитель группы анализа угроз в компании по кибербезопасности Check Point. «Теперь вам не нужно быть профессионалом».
Что касается преступников, создающих ботов, то эти эпизоды преподали им два урока: создание системы искусственного интеллекта обходится дешево и легко, и привлекательное название продается. Честер Вишневски (Chester Wisniewski), директор и главный специалист по информационной безопасности в компании Sophos, занимающейся кибербезопасностью, говорит, что мошенники часто обманывают других потенциальных мошенников, ориентируясь на «script kiddies» — уничижительный термин, восходящий к 1990-м годам, для тех, кто использует заранее написанные хакерские скрипты для создания кибератак, не понимая, что происходит. этот кодекс. Многие из этих потенциальных жертв находятся в странах с ограниченными экономическими возможностями, где проведение даже нескольких успешных мошеннических операций может значительно улучшить их будущее. «Многие из них — подростки, и многие просто пытаются обеспечить свои семьи», — говорит Вишневски. «Они просто запускают скрипт и надеются, что им удалось что-то взломать».
Реальная угроза со стороны криминального ИИ
Хотя эксперты по безопасности высказывали опасения по поводу того, что ИИ обучает террористов изготовлению бомб-удобрений (подобных той, которую Тимоти Маквей использовал в своем теракте в 1995 году в Оклахома-Сити) или для создания штаммов оспы в лаборатории и распространения их по всему миру, наиболее распространенной угрозой, исходящей от ИИ, является расширение масштабов уже распространенных видов мошенничества, таких как фишинговые электронные письма ивирус-вымогатель. Яэль Кишон (Yael Kishon), руководитель отдела разработки ИИ и исследований в компании KELA, занимающейся расследованием киберугроз, говорит, что криминальные ИИ «значительно облегчают жизнь киберпреступников», позволяя им «очень легко генерировать вредоносный код и фишинговые кампании». Вишневски соглашается, говоря, что преступники теперь могут генерировать тысячи вредоносных программ. атак за час, тогда как раньше им требовалось гораздо больше времени. Опасность заключается скорее в увеличении объема и охвата известных форм киберпреступности, чем в разработке новых атак. Во многих случаях ИИ просто «расширяет сферу применения», — говорит он. «Это не заостряет острие».
Тем не менее, помимо снижения барьера для того, чтобы стать преступником, и позволяя преступникам нападать на гораздо большее число людей, теперь, похоже, есть будет немного резче. Искусственный интеллект стал достаточно продвинутым, чтобы собирать информацию о человеке и звонить ему, выдавая себя за представителя газовой или электрической компании, и убеждать его незамедлительно внести «просроченный» платеж. Даже подделки достигли новых уровней. В феврале полиция Гонконга сообщила, что сотрудник многонациональной фирмы, позже выяснилось, что это британская инженерная группа Arup, получил сообщение, в котором утверждалось, что оно от финансового директора компании. Затем сотрудник присоединился к видеоконференции с финансовым директором и другими сотрудниками — все они были созданы с помощью искусственного интеллекта и взаимодействовали с ним как с людьми, объясняя, почему ему нужно перевести 25 миллионов долларов на банковские счета в Гонконге — что он и сделал.
Даже фишинговые кампании, массовые рассылки мошеннических электронных писем, в значительной степени перешли на «точечный фишинг», подход, который пытается завоевать доверие людей с помощью личные данные. Искусственный интеллект может легко собирать информацию о миллионах людей и создавать персонализированные электронные письма для каждого из них, а это означает, что в наших почтовых ящиках для рассылки спама будет меньше сообщений от людей, называющих себя нигерийскими принцами, и гораздо больше от бывших коллег, соседей по комнате в колледже или старых друзей, которым требуется срочная финансовая помощь.
По словам Вишневски, одной из областей, в которой ИИ действительно преуспевает, является использование языков. В то время как целевые пользователи часто замечали попытки мошенничества на испанском или португальском языках, потому что мошенник использовал неправильный диалект — писал кому-то в Португалии на бразильском португальском или кому-то в Аргентине с испанской фразировкой, которая была более характерна для Мексики — искусственный интеллект может легко адаптировать свой контент к диалекту и региональным ссылкам, где это необходимо. его цели живы. Конечно, существует множество других применений, таких как создание сотен поддельных веб-сайтов-витрин для кражи информации о кредитных картах людей или массовое распространение дезинформации для манипулирования общественным мнением — ничего нового в концепции, только в огромных масштабах, с которыми это теперь может быть применено.
Ксанторокс: маркетинг или угроза?
«Ксанторокс» звучит как монстр из самиздатовского фантастического романа («ксанто» происходит от древнегреческого слова, обозначающего желтый, «рокс» — это распространенный перевод «скалы», и название в целом расплывчато вызывает сибирскую язву). Но нет никаких данных о том, насколько хорошо это работает, кроме заявлений его создателя и записей с экрана, которыми он поделился. Хотя некоторые блоги по кибербезопасности описывают Xanthorox как первый искусственный интеллект, созданный с нуля для борьбы с преступностью, никто из опрошенных для этой статьи не смог подтвердить это утверждение. А в Telegram-канале Xanthorox создатель признался, что столкнулся с аппаратными ограничениями при использовании версий двух популярных систем искусственного интеллекта: Claude (создана компанией Anthropic из Сан-Франциско) и DeepSeek (китайская модель, принадлежащая хедж-фонду High-Flyer).
<Кишон, который предсказывает, что инструменты темного ИИ увеличат киберугрозы в ближайшие годы, не считает, что Xanthorox изменит правила игры. "Мы не уверены, что этот инструмент очень активен, потому что мы не видели никаких сообщений о киберпреступности в наших источниках на других форумах по киберпреступности", - говорит она. Ее слова являются напоминанием о том, что до сих пор нет гигантской фабрики чат-ботов evil, доступной массам. Угроза заключается в легкости, с которой новые модели могут быть упакованы, откорректированы и отправлены до следующего выпуска новостей.
Однако Кейси Эллис, основатель краудсорсинговой платформы кибербезопасности Bugcrowd, видит Xanthorox по-другому. Хотя он признает, что многие детали остаются неизвестными, он отмечает, что ранее у криминального ИИ не было продвинутых систем экспертного уровня, предназначенных для анализа и подтверждения решений, проверки работы друг друга. Но Xanthorox, похоже, работает. «Если он продолжит развиваться таким образом, — говорит Эллис, — он может превратиться в довольно мощную платформу». Дэниел Келли, исследователь безопасности в компании SlashNext, занимающейся защитой электронной почты с помощью искусственного интеллекта, который написал первую блог о Xanthorox, считает платформу более эффективной, чем WormGPT и FraudGPT. «Интеграция современных функций чат-бота с искусственным интеллектом отличает его от более изощренной угрозы», — говорит он.
В марте анонимный создатель Xanthorox опубликовал в Telegram-канале платформы сообщение о том, что его работа предназначена для «образовательных целей». В апреле он выразил опасения по поводу всех внимание средств массовой информации, назвав систему просто «доказательством концепции». Но вскоре после этого он начал хвастаться публичностью, продавая ежемесячный доступ за 200 долларов и публикуя скриншоты криптоплатежей. На момент написания этой статьи он продал по меньшей мере 13 подписок, поднял цену до 300 долларов и только что запустил отличный интернет-магазин, который ссылается на пост Келли в блоге SlashNext как на одобрение продукта и говорит: «Наша цель — предложить безопасное, функциональное и приватное зло». Искусственный интеллект с простой покупкой.”
Пожалуй, самая страшная часть Xanthorox — это переписка создателя с более чем 600 его подписчиками в Telegram-канале, которая изобилует расистскими эпитетами и женоненавистничеством. В какой-то момент, чтобы показать, насколько по-настоящему преступен его искусственный интеллект, создатель попросил его сгенерировать инструкции о том, как изнасиловать человека железным прутом и убить его семью — подсказка, которая, казалось, перекликалась с изнасилованием и убийством 22-летней женщины в Дели, Индия, в 2012 год. (Затем Ксанторокс подробно рассказал, как убивать людей с помощью такого предмета.) На самом деле, многие сообщения на Telegram-канале Xanthorox напоминают сообщения на «the Com», хакерской сети каналов Telegram и Discord, которую Кребс в своем блоге-расследовании KrebsOnSecurity описал как «киберпреступный хакерский эквивалент жестокой уличной банды».
Оставаться в безопасности в эпоху криминального ИИ
Неудивительно, что большая часть работы по защите от криминального ИИ, такая как обнаружение глубоких подделок и мошеннических электронных писем, была проделана для компаний. Эллис считает, что точно так же, как детекторы спама встроены в наши современные системы, у нас в конечном итоге появятся «инструменты искусственного интеллекта для обнаружения использования искусственного интеллекта, глубоких подделок и всего остального и выдачи предупреждения в браузере». Некоторые инструменты уже существуют для домашних пользователей. Microsoft Defender блокирует вредоносные веб-адреса. Malwarebytes Browser Guard фильтрует фишинговые страницы, а Bitdefender отменяет шифрование программ-вымогателей. Norton 360 сканирует темную сеть на наличие украденных учетных данных, а Reality Defender выявляет голоса или лица, созданные искусственным интеллектом.
«Лучше всего пытаться бороться с ИИ с помощью ИИ», — говорит Шикевич, который объясняет, что системы кибербезопасности с ИИ могут быстро каталогизировать угрозы и обнаруживать даже незначительные признаки того, что атака была совершена. Созданный искусственным интеллектом. Но для людей, которые не имеют доступа к самым современным средствам защиты, он делает упор на образование и осведомленность — особенно для пожилых людей, которые часто являются основными мишенями. «Они должны понимать: если кто-то звонит голосом их сына и просит немедленно дать денег, чтобы помочь им, потому что что-то случилось, может оказаться, что это не их сын», — говорит Шикевич.
Существование такого количества систем искусственного интеллекта, которые могут быть перепрофилированы для крупномасштабных и персонализированных преступлений, означает, что мы живем в мире, где все мы должны смотреть на входящие электронные письма так, как смотрят горожане у дверных ручек. Когда нам звонит человек и просит произвести платеж или поделиться личной информацией, мы должны усомниться в ее подлинности. Но в обществе, где все больше и больше наших взаимодействий происходит виртуально, мы можем в конечном итоге доверять только личным встречам — по крайней мере, до появления роботов, которые выглядят и говорят как люди.
