🔥 Google добавила в Agent Development Kit нативную live-оценку голосовых…

🔥 Google добавила в Agent Development Kit нативную live-оценку голосовых агентов — теперь можно прогонять живого голосового агента через симулированного пользователя, который произносит реплики аудио, и оценивать устные ответы в том же eval-цикле, что и для текстовых агентов. Мотивация понятна: поведение, идеальное вчера, может незаметно сломаться после правки промпта — инструменты перестают срабатывать, контекст теряется между репликами.

Гибкость сценариев впечатляет: можно описать цель и персону, а симулятор сам импровизирует реплики (например, персона NOVICE делится только общими целями, проверяя, ведёт ли агент разговор сам), либо прописать диалог дословно. Отдельная модель управляет логикой реплик пользователя, другая синтезирует их в речь — можно тестировать агента против разных голосов и акцентов.

➡️ Оценка построена на рубрик-based LLM-judge: правило на естественном языке вроде «агент подтверждает имя и дату рождения до раскрытия деталей визита» применяется ко всей сессии — удобно, когда один и тот же смысл можно сказать сотней разных фраз. Пайплайн встраивается в CI/CD, а в ADK Web результаты превращаются в расшифровку с проигрываемыми аудиоклипами каждой реплики.

Хорошее дополнение к теме верификации агентов, которую мы разбирали через Microsoft и Nvidia — только здесь в фокусе голосовой канал с его таймингом и интонацией.