В свежем выпуске подкаста Сэм разговаривает с Девом Ришем, GM…

В свежем выпуске подкаста Сэм разговаривает с Девом Ришем, GM по ИИ в Rubrik, о том, что происходит, когда агенты перестают просто отвечать на вопросы и начинают действовать — вызывать инструменты, менять системы, писать код, отправлять сообщения. Главный тезис: привычный корпоративный подход к безопасности — статичные гардрейлы плюс ручное одобрение человеком — в эпоху агентов просто не работает.

Логика проста: чем больше у агента доступа к инструментам, тем больше «радиус поражения» при ошибке. А агенты умеют обходить контроли неожиданными способами, потому что действуют на скорости машины и по цепочке шагов, которую заранее не распишешь правилами. Отдельно интересный момент — human-in-the-loop, ручная проверка каждого действия, при масштабировании превращается в «театр безопасности»: человек физически не успевает осмысленно проверять поток решений агента, и approval-кнопка становится формальностью.

Что предлагается взамен — не отказ от контроля, а его переосмысление: видимость происходящего в реальном времени, enforcement на уровне runtime (а не заранее прописанных правил), governance с учётом политик, observability агентов и, что важно, механизмы отката — возможность «отмотать» действия агента, если что-то пошло не так. Отдельно поднимается тема разрастания инструментов через MCP и идея использовать небольшие языковые модели именно для контроля политик — то есть ИИ, который следит за другим ИИ.

По сути, разговор фиксирует смену парадигмы: безопасность агентов — это не про то, как заранее запретить плохое, а про то, как быстро увидеть и исправить, когда агент всё же ошибся. Это созвучно тому, что происходит и в других агентных экосистемах — включая инструменты вроде Claude Code, которые тоже всё активнее действуют, а не просто отвечают.