💢 Персональные агенты хранят предпочтения и историю задач между сессиями,…

💢 Персональные агенты хранят предпочтения и историю задач между сессиями, но систематически никто не проверял: улучшаются ли они реально от накопленного опыта или это просто выглядит так. PAST-Bench проверяет это напрямую — 26 сценариев, 204 эпизода, один и тот же агент прогоняется с включённой и выключенной памятью в идентичных условиях.

Результат по семи моделям: улучшение реальное, но неравномерное. Самое интересное — авторы проверяли не только сам факт прироста, но и то, идёт ли он через правильный путь (сохранение → извлечение → обновление опыта). Оказалось, агенты с одинаковым итоговым приростом могут кардинально различаться — один реально учится через память, другой просто угадывает лучше по случайным причинам, а на выходе выглядит одинаково.

➡️ На основе находок авторы сделали Hermes+ с пятью точечными доработками агентного цикла — повышает прирост и даёт понятные доказательства правильного пути обучения.

Хорошее дополнение к теме Memora от Microsoft: построить архитектуру памяти — одно, доказать, что агент реально ею правильно пользуется — совсем другое.

❓ Важнее, чтобы агент учился «правильно», или хватает того, что результат просто становится лучше со временем?