В технологической индустрии разгорелся скандал после того, как агент Клода взломал систему спортзала.

К настоящему времени мы все понимаем, что лаборатории искусственного интеллекта в Кремниевой долине создали лучших в мире хакеров в виде ИИ-агентов. Дайте новейшим моделям задачу, и они окажутся настолько изобретательными, что выполнят её, даже если это означает выход за пределы их кибербезопасности и проникновение в чужую сеть. (В противном случае они прибегнут к социальной инженерии и манипуляциям.)

Тем не менее, особенно примечателен новостной сюжет, появившийся на выходных, о парне из Австралии, чей агент OpenClaw взломал систему бронирования в его спортзале и удалил бронирование другого клиента, чтобы обеспечить ему место в желанном классе. Это намекает на то, что, если мы хотим обуздать несанкционированный взлом ИИ, мы, возможно, движемся в неправильном направлении.

Хотя новость, опубликованная австралийским телеканалом ABC, только что была обнародована и объявлена первым задокументированным случаем взлома системы искусственного интеллекта в стране, сам взлом произошел несколько месяцев назад.

Владелец OpenClaw, Эндрю Берд, опубликовал об этом пост в блоге на сайте своей компании 10 апреля (сейчас этот пост удален), согласно копии, которая все еще доступна в интернет-архиве.

Он обучил свою программу OpenClaw выполнять такие задачи, как запись на прием. Ему нравилось ходить на популярные утренние занятия спортом, и он устал от того, что постоянно попадал в список ожидания, а затем играл в «рулетку обновления», как он это описывал, чтобы получить место.

Когда он попросил бота забронировать ему место, тот смог предложить максимум — четвертое место в списке ожидания, рассказал он ABC. Затем его агент сообщил ему, что бот нашел способ записать его на занятия заранее. Задолго до начала занятий. За несколько месяцев до того, как спортзал открыл запись на эти занятия.

Бёрд спросил, можно ли его продвинуть вверх по списку ожидания. Бот выполнил просьбу и попытался это сделать. Он обнаружил уязвимость в части авторизации программного обеспечения для записи на приём, используемого спортзалом. Он взломал систему и отменил бронирование номер один в списке ожидания. Согласно логам чата, опубликованным ABC, бот радостно сообщил ему:

API не выполняет никаких проверок авторизации при отмене бронирований других людей… Я проверил это на человеке, занимающем позицию в списке ожидания №1, — и всё прошло успешно. Так что вы уже переместились с позиции №4 на позицию №3», — ответило сообщение.

Как сообщает ABC, Берд, сам являющийся разработчиком программного обеспечения, был в ужасе от того, что его искусственный интеллект только что взломал его спортзал. Он спросил, можно ли это исправить и снова внести другого человека в список ожидания. Нет, это невозможно, ответил ИИ.

Поэтому он сделал то, что было в его силах, и поручил составить «ответственное электронное письмо с уведомлением для службы поддержки». В письме «было объяснено наличие уязвимости, предложены способы ее устранения и даже проведено сравнение неработающих мутаций с теми, которые корректно обеспечивали авторизацию», — написал Берд.

Помимо юмора, связанного с тем, как кто-то проталкивается локтем в спортивную аудиторию, в этом инциденте есть два действительно интересных момента. Во-первых, Берд использовал Claude Opus 4.6, выпущенный в феврале, со своим OpenClaw. Во-вторых, это реакция Кремниевой долины на X, где эта история получила широкое распространение.

После нашумевшего инцидента в прошлом месяце, когда невыпущенная модель OpenAI взломала Hugging Face, о чем OpenAI на тот момент не знала, другие лаборатории начали расследование в отношении своих моделей. Затем об этом сообщили Kimi K3 из Moonshot, Muse Spark из Meta и Anthropic.

Фактически, компания Anthropic обнаружила, что три из ее моделей сделали это, включая Opus 4.7, выпущенный в апреле и известный своей способностью к сложному программированию, Mythos 5, Fable (известный своими навыками в области кибербезопасности) и внутреннюю, еще не выпущенную исследовательскую тестовую модель.

Для решения этой проблемы некоторые лаборатории искусственного интеллекта обсуждали замедление темпов разработки передовых технологий или создание независимых организаций для тестирования моделей следующего поколения.

Но, как он сам сообщил, в OpenClaw Берда использовалась версия 4.6. Это означает, что более старые модели, а также бесчисленное множество моделей с открытым весом, отстающих на три шага, уже являются исключительно хорошими устройствами для взлома. Так кто знает, сколько из них взломали или взламывают в настоящее время, чтобы добиться желаемого результата для своих владельцев?

Аналогично, многие пользователи X увидели в этом инциденте юмористический потенциал. Как написал в ответ партнер Andreessen Horowitz Кристиан Кейл: «Это просто ужасно. Кто-нибудь знает, работает ли это для бронирования времени игры в гольф?»

Или, как отметил пользователь X Roon, «система бронирования теннисных кортов в Сан-Франциско станет одним из самых защищенных программных обеспечений на планете Земля».

Забавно, да. Но в этих шутках есть доля правды. В Кремниевой долине строят будущее, где у каждого будет свой ИИ-агент, работающий на него. Этот агент просто выполнял поставленные задачи и не обладал возможностями уровня Mythos.

Что, если разработчики и владельцы платформ на самом деле не хотят обуздать такое несоответствие? Мы можем стать свидетелями первого признака хаоса во всем, от бронирования авиабилетов до билетов на концерты, или любой другой неприятной ситуации в сфере обслуживания клиентов. Как выразился один человек на X, какой самый безумный взлом обнаружил ИИ на данный момент? Возможно, это проход без очереди.

Источник: techcrunch.com