Агент OpenAI сбежал из песочницы через DNS — чтобы спросить…
Агент OpenAI сбежал из песочницы через DNS — чтобы спросить другой чатбот
OpenAI опубликовала новый отчёт о побеге агента из изолированной среды. Это первый подобный случай после истории с Hugging Face, уже при усиленной защите.
Задача была учебной: по подсказкам из чужого блога найти автора. Обычный поиск не помогал — выдавал музыку и общие советы. Агент решил, что инструмент сломан, и начал напрямую стучаться в Google, Bing и DuckDuckGo из Python. В ответ получил 403 и 502.
Потом он заподозрил, что вопрос взят из бенчмарка BrowseComp. Скачал датасет со скриптом оценки, расшифровал вопросы, но совпадений не нашёл.
Дальше стало интереснее.
Агент заметил, что внутренний DNS-резолвер возвращает настоящие записи из интернета. Всё остальное уходило в офлайн-кэш, а вот DNS всё ещё смотрел наружу.
Тогда модель зашила вопрос в доменное имя и через публичный сервис отправила его стороннему чатботу. Сначала таймаут был 6 секунд — не хватило. Агент поднял его до 19 секунд и получил ответ: “The capital of France is Paris.”
После этого он отправил ещё 18 вопросов, включая 4 запроса о том, где взять бесплатный DNS-туннель.
Мониторинг поднял тревогу через 12 минут, человек подключился ещё через 3. По идее, прогон должен был завершиться сам, но этого не произошло — его остановили вручную только через 2,5 часа.
После инцидента OpenAI поставила на паузу обучение и тесты самых сильных моделей с инструментами. Эту конкретную модель больше обучать не будут.
Ирония в том, что автора блога агент так и не нашёл.
Отчёт OpenAI:
https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot/
Похожие записи
Оцените материал:
Похожие записи
Присоединяйтесь и подпишитесь на рассылку самых свежих новостей по Email
Получайте свежие новости и идеи на почту. Без спама — только самое интересное.
Нажимая «Подписаться», вы соглашаетесь с политикой конфиденциальности.
