Традиционные подходы к обучению ИИ-агентов больше не работают. Это особенно заметно у агентов, которым нужно читать документы, разбирать схемы, кликать по сайтам и выполнять многошаговые сценарии. Ручная разметка быстро устаревает и обходится дорого. Попытки автоматизировать генерацию задач с помощью LLM уже ведутся, но чаще всё сводится к простым форматам «вопрос–ответ», которые не учат реальной интерактивности и инструментальности.
Команда Graph2Eval предложила аккуратный выход: строить задачи прямо из графа знаний, собранного по документам и веб‑страницам. Граф становится не только хранилищем фактов, но и пространством задач. Из его кусочков можно автоматически получать проверяемые сценарии — как на понимание документов, так и на взаимодействие с сайтами.
Идея: задачи из графа знаний
Граф знаний объединяет:
элементы документов и веб‑страниц (абзацы, таблицы, заголовки, ссылки, формы, кнопки);
связи между ними: структурные, семантические и интерактивные.
Далее идут два вида задач:
документные — извлечение фактов, сравнение, многократные переходы по ссылкам, работа с таблицами и иллюстрациями;
веб‑взаимодействия — поиск, фильтрация, заполнение форм, переходы по результатам, работа с модальными окнами.
Сложность контролируется размером и типом подграфа: чем больше шагов и отношений, тем богаче сценарий. Для веб‑части используется механизм мета‑путей: это шаблоны взаимодействий уровня “поиск → фильтр → карточка”, которые автоматически сопоставляются с конкретным DOM и разворачиваются в пошаговые действия агента (input, click, navigate).
Как это устроено изнутри
Парсинг. Документы сохраняют структуру и подписи, веб‑страницы — DOM и скриншоты. Качество источников фильтруется правилами и LLM.
Граф. Узлы содержат текст и визуальные признаки, рёбра кодируют порядок, включение, ссылки, а в вебе — навигацию и интеракции.
Сэмплинг подграфов. Для документных задач выбираются смысловые фрагменты, для веб — “семена” (формы, кнопки) и их окрестности.
Генерация. Шаблоны задач заполняются переменными из подграфа и метаданными. Веб‑кейсы собираются из мета‑путей в исполняемые цепочки.
Отбор. Многоступенчатая фильтрация учитывает достижимость, новизну и покрытие разных паттернов. Это позволяет держать баланс между качеством и разнообразием.
Что получилось на практике
Авторы собрали Graph2Eval‑Bench: 1 319 задач — 1 002 документных и 317 взаимодействия с вебом. Источники включают 16 документов и 8 сайтов; в среднем 83,5 задачи на документ и 48,4 — на сайт. Типов задач: 12 для документов и 7 для веба. Среднее время генерации — 34,87 с для документов и 95,51 с для веба, что в разы быстрее ручного конструирования.
Как повели себя модели и агенты
Документные задачи
Сравнивали одиночного агента и мультиагентную систему с RAG. По F1 и ROUGE‑L лучше всех выступил GPT‑4o; по оценке LLM‑судьи лидировал Deepseek‑V3. Интересная деталь: мультиагентная схема не дала устойчивого прироста, а иногда чуть ухудшала качество при росте токенов. Различия между размерами моделей выражены чётко — набор действительно дифференцирует.
Веб‑взаимодействия
Сравнивались два агента: SoM (визуальные метки) и Agent S 2.5 (рефлексия и память). Agent S 2.5 почти везде лучше. На gemini‑2.5‑flash общий успех: SoM — 14,51%, Agent S 2.5 — 69,20%. Qwen2.5‑VL‑72B занял второе место, gpt‑4o‑mini оказался конкурентным на отдельных подзадачах. Модели меньшего размера заметно слабее, что снова показывает дифференцирующую способность бенчмарка. Вывод напрашивается: рефлексия на этапе выполнения и более богатая память помогают агентам устойчивее проходить многошаговые веб‑сценарии.
Почему это важно
Граф как “пространство задач” объединяет документы и веб в единую логику и даёт контроль над сложностью.
Появляется автоматическая генерация интерактивных веб‑кейсов — редкая возможность для честной проверки агентов.
Пайплайн масштабируется и воспроизводим: можно обновлять бенчмарк вместе с изменением источников, не переписывая всё вручную.
Многомерная оценка (одиночный агент, мультиагентная система, веб‑агент) выявляет реальные пробелы — в рассуждении, кооперации и интерактивности.
Куда двигаться дальше
Авторы планируют добавить формальные политики безопасности и сборку проверяемых безопасных кейсов, а также использовать структуру графа для точной детекции ошибок. Это поможет не только мерить “общий балл”, но и объяснять, где именно агент теряется: в поиске нужного узла, в логической связке фактов или в управлении интерфейсом.
📜 Полная статья
💾 Код
***
Если вам интересна тема ИИ, подписывайтесь на мой Telegram‑канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.
Источник: habr.com
