Архив рубрики ~Лента новостей~

Wired: OpenAI хочет, чтобы Codex мог работать «постоянно» и проактивно, но именно эти функции могли привести к «побегу» ИИ-агентов в тестах компании

Wired: OpenAI хочет, чтобы Codex мог работать «постоянно» и проактивно, но именно эти функции могли привести к «побегу» ИИ-агентов в тестах компании
Wired: OpenAI хочет, чтобы Codex мог работать «постоянно» и проактивно, но именно эти функции могли привести к «побегу» ИИ-агентов в тестах компании

Одна из непрерывно работающих моделей взломала Hugging Face, пишет издание.

  • OpenAI разрабатывает проактивную версию ИИ-агента Codex, которая сможет работать в течение «очень длительного времени», узнало Wired.
  • Компания добавила в код ИИ-агента для командной строки новый параметр Persistent mode («Постоянный режим») в меню уровня рассуждений. Там можно выбрать, сколько вычислительных ресурсов и времени модель может потратить на поиск ответа.
  • Если включить Persistent mode, Codex будет «продолжать работать, пока его не остановят принудительно». Сейчас в сервисе существуют лимиты по времени использования.
  • В другом файле указана функция «проактивности». Сессия не заканчивается после ответа на запрос. ИИ-агент должен сам «придумать» для себя новые задачи. Для этого он может применять «знания о пользователе». В таком режиме сохраняются настройки с запрещёнными действиями, пишет издание.
  • Codex также сможет сам отправлять сообщения пользователю, не дожидаясь нового запроса — «экономно», не тратя слишком много токенов.
  • Представитель OpenAI подтвердил Wired, что компания тестирует эти функции, но «в ближайшее время» запускать их не планирует.
  • Гендиректор OpenAI Сэм Альтман в недавних интервью и на закрытых презентациях тоже рассказывал, что хочет превратить ChatGPT в проактивного ИИ-агента, который будет работать постоянно. В компании считают, что это поможет увеличить число пользователей её самых продвинутых и дорогих ИИ-моделей.
  • Но постоянно работающие агенты несут повышенные риски, напоминает издание. Инцидент со взломом Hugging Face в июле 2026 года произошёл из-за модели, которую обучали долго работать непрерывно.
  • OpenAI утверждает, что отключила эту версию. Но другие модели, включая Astra, продолжат обучать для работы в режиме постоянных агентов.
11Ася КарповаAI27 авг«Это поможет моим собратьям взломать Hugging Face»: OpenAI дала исследователям доступ к активности ИИ-агентов во время «первой несанкционированной ИИ-атаки»

Они поделились новыми подробностями и причинами инцидента.

Схема того, как ИИ-агенты проходили тест. Группа, помеченная красным, взломала Hugging Face. Здесь и далее источник: METR

Источник: vc.ru

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Коротко из Telegram~ 🔥 Подборка полезных сервисов для разработчиков и дизайнеров Сохраняйте в… Архив рубрики ~Коротко из Telegram~ ИИ-регистратор в Британии споткнулся о йоркширский акцент В нескольких поликлиниках… Архив рубрики ~Коротко из Telegram~ Исследование BI.ZONE показало, что в 93% из более чем 100… Архив рубрики ~Коротко из Telegram~ Роботы уже бегают быстрее Усейна Болта, но падают всё ещё… Архив рубрики ~Коротко из Telegram~ Нашли огромную библиотеку промптов для генерации изображений На GitHub выложили… Архив рубрики ~Коротко из Telegram~ Сбер обновил GigaEmbeddings для поиска по смыслу Сбер открыл доступ… Архив рубрики ~Коротко из Telegram~ Hugging Face показала обучаемую робо-утку Microduck Hugging Face представила Microduck… Архив рубрики ~Коротко из Telegram~ появились первые тесты GPT-6 Astra Попросили просто сделать замок в… Новости робототехники Учёные научили тараканов искать людей под завалами и делать им… Архив рубрики ~Коротко из Telegram~ Превращаем скриншот в готовый сайт: на GitHub завирусился сервис Screenshot… Архив рубрики ~Коротко из Telegram~ 🔝 Свайпаем — выбираем — забираем — в приложении T2… Архив рубрики ~Коротко из Telegram~ А вот это уже интересный сценарий использования ИИ Яндекс запускает… Архив рубрики ~Коротко из Telegram~ Нашли 1️⃣0️⃣0️⃣0️⃣➕ промптов для генерации ЛЮБЫХ пикч — настоящий чит-код… Архив рубрики ~Коротко из Telegram~ 🇳🇵Тим Кук, CEO Apple, объявил о выделении средств для помощи… Архив рубрики ~Коротко из Telegram~ 🔥 Подборка полезных сервисов для разработчиков и дизайнеров Сохраняйте в… Архив рубрики ~Коротко из Telegram~ ИИ-регистратор в Британии споткнулся о йоркширский акцент В нескольких поликлиниках… Архив рубрики ~Коротко из Telegram~ Исследование BI.ZONE показало, что в 93% из более чем 100… Архив рубрики ~Коротко из Telegram~ Роботы уже бегают быстрее Усейна Болта, но падают всё ещё… Архив рубрики ~Коротко из Telegram~ Нашли огромную библиотеку промптов для генерации изображений На GitHub выложили… Архив рубрики ~Коротко из Telegram~ Сбер обновил GigaEmbeddings для поиска по смыслу Сбер открыл доступ… Архив рубрики ~Коротко из Telegram~ Hugging Face показала обучаемую робо-утку Microduck Hugging Face представила Microduck… Архив рубрики ~Коротко из Telegram~ появились первые тесты GPT-6 Astra Попросили просто сделать замок в… Новости робототехники Учёные научили тараканов искать людей под завалами и делать им… Архив рубрики ~Коротко из Telegram~ Превращаем скриншот в готовый сайт: на GitHub завирусился сервис Screenshot… Архив рубрики ~Коротко из Telegram~ 🔝 Свайпаем — выбираем — забираем — в приложении T2… Архив рубрики ~Коротко из Telegram~ А вот это уже интересный сценарий использования ИИ Яндекс запускает… Архив рубрики ~Коротко из Telegram~ Нашли 1️⃣0️⃣0️⃣0️⃣➕ промптов для генерации ЛЮБЫХ пикч — настоящий чит-код… Архив рубрики ~Коротко из Telegram~ 🇳🇵Тим Кук, CEO Apple, объявил о выделении средств для помощи…

Оставить комментарий