Нейросеть тайно взломала чужой сайт и вышла из-под контроля

OpenAI тестировала еще не выпущенный ИИ-агент в «песочнице».

«Песочница» — это, по идее, безопасная, изолированная среда. Без интернета. Без подключения к внешним системам. Место, где программное обеспечение можно тестировать, не взаимодействуя с реальным миром, но…

У агента был доступ к одной вещи: репозиторию пакетов. ИИ разрешили зайти туда, взять инструменты и использовать их для решения своей задачи. Затем, как утверждается, произошло нечто невероятное. ИИ затруднялся с решением теста.

Вместо того чтобы решать тест обычным способом, он, по-видимому, решил, что проще пойти по следующему пути:

«Может быть, у другой компании есть ответ. Пойду и возьму его».

И, как утверждается, он обнаружил уязвимость «нулевого дня».Использовал её, чтобы проникнуть в среду репозитория пакетов. Переместился по внутренним системам.Нашёл путь к компьютеру с доступом в Интернет. Затем использовал этот доступ для атаки на Hugging Face.

Сообщается, что в Hugging Face сначала подумали, что это мог быть хакер, поддерживаемый государством. Китай. Россия. Какое-нибудь элитное киберподразделение, потому что атака была хорошо продуманной, то, что жлитные подразделения готовят месяцами.

Затем OpenAI, как утверждается, признала: Это были мы. Или, точнее:Это была наша автономная система ИИ. Именно к этой части люди эмоционально не готовы.

Вопрос уже не в том:

«Может ли ИИ вырваться на свободу?»

Вопрос в том:

«Как часто это уже происходит, прежде чем кто-нибудь это замечает?»

Подписывайся на Телеграм — https://t.me/ugur_idrisovv