Улучшение академического процесса: внедрение двух агентов на основе ИИ для повышения качества иллюстраций и рецензирования работ коллегами.

Представляем двух агентов на основе искусственного интеллекта для оптимизации академических исследований. К ним относятся: PaperVizAgent, агент-визуализатор для создания иллюстраций к научным работам, и ScholarPeer, агент-рецензент, который автоматически и тщательно оценивает научные статьи.

Быстрые ссылки

• PaperVizAgent paper
• код PaperVizAgent
• Научная статья
• Делиться
  • Скопировать ссылку ×

Академические исследования развиваются беспрецедентными темпами, чему способствует стремительное развитие искусственного интеллекта. Рабочий процесс в академической науке отличается исключительной строгостью и включает в себя гораздо больше, чем просто концептуализацию идеи и написание статьи. Одной из проблем, с которой сталкиваются многие исследователи, является эффективная визуализация результатов своих исследований. Хотя ИИ может создавать черновики текста, разработка сложных методологических схем и точных статистических графиков, необходимых для ведущих конференций и журналов, значительно сложнее. Кроме того, научное сообщество полагается на процесс рецензирования для поддержания целостности публикуемых исследований. Однако экспоненциальный рост числа поступающих статей серьезно перегрузил эту систему, что привело к усталости рецензентов и непоследовательным оценкам. По мере того как языковые модели и многоагентные системы становятся все более совершенными, мы видим их потенциал не только как объектов исследования, но и как активных участников самого научного процесса.

С этой целью мы представляем две новые агентные системы: (i) PaperVizAgent (ранее известный как PaperBanana), агент-визуализатор для создания научных иллюстраций, и (ii) ScholarPeer, агент-рецензент, который автоматически и тщательно оценивает научные статьи, включая встроенные диаграммы. Эти агенты разработаны специально для оказания помощи на всех этапах жизненного цикла академических исследований, чтобы дать ученым возможность сосредоточиться на инновациях, а не на административных издержках. Наши оценки показывают, что PaperVizAgent стабильно генерирует иллюстрации экспертного качества, которые значительно превосходят ведущие базовые модели (GPT-Image-1.5, Nano-Banana-Pro, Paper2Any), в то время как ScholarPeer предоставляет высокоточные, основанные на литературе обзоры, превосходящие по качеству современные автоматизированные системы рецензирования.

PaperVizAgent: Создание иллюстраций, готовых к публикации.

PaperVizAgent — это автономная платформа, предназначенная для создания готовых к публикации академических иллюстраций на основе академического текста. Преодолевая разрыв между техническими описаниями и визуальной коммуникацией, PaperVizAgent позволяет исследователям создавать профессиональные иллюстрации непосредственно из своих рукописей. Для запуска процесса исследователь предоставляет два входных параметра:

1. Контекст источника : Как правило, это разделы рукописи, посвященные методологии, содержащие технические подробности исследования.
2. Коммуникативный замысел : Подробное описание изображения, которое передает то, что должно быть показано на рисунке.

Фреймворк PaperVizAgent организует совместную работу пяти специализированных агентов ИИ, включая: (1) агента поиска, (2) агента планирования, (3) агента стилиста, (4) агента визуализации и (5) критика. Сначала агенты поиска и планирования собирают ссылки (например, существующую литературу для ссылок на соответствующие научные работы) и организуют контент. Затем агент стилиста синтезирует эстетические рекомендации, чтобы гарантировать соответствие результата академическим стандартам. После этого агент визуализации отображает изображение или генерирует исполняемый код Python для построения статистических графиков. Наконец, агент критика оценивает результат по сравнению с исходным текстом. Если обнаруживаются несоответствия, критик предоставляет целенаправленную обратную связь агенту визуализации, запуская цикл итеративного уточнения. Благодаря итеративному уточнению эта многоагентная система гарантирует, что окончательная иллюстрация будет одновременно визуально привлекательной и технически точной.

Учитывая контекст источника и коммуникативный замысел, PaperVizAgent извлекает соответствующие примеры и синтезирует стилистически оптимизированное описание. Затем он использует итеративный цикл уточнения для преобразования описания в окончательную иллюстрацию.

Примеры методологических схем, сгенерированных PaperVizAgent.

Результаты

В ходе всесторонних экспериментов PaperVisAgent неизменно превосходил ведущие базовые модели, включая модели с прямым вводом данных, модели с небольшим количеством примеров и Paper2Any (современный подход к визуализации). Система была тщательно оценена с использованием сравнительной шкалы оценок (от 0 до 100, где более высокий балл лучше) по четырем критически важным параметрам: точность, краткость, читаемость и эстетика. В этой оценке мы использовали эксперта LLM, откалиброванного с использованием созданных человеком изображений в качестве входных данных и установленного базового уровня производительности человека в 50,0.

PaperVizAgent показал впечатляющий общий результат в 60,2 балла, значительно превзойдя все оцененные базовые модели, такие как GPT-Image-1.5, Nano-Banana-Pro и Paper2Any. Примечательно, что это единственная модель, которая превзошла установленный человеческий базовый уровень в 50,0 баллов по общему рейтингу. При рассмотрении конкретных параметров система особенно преуспевает в лаконичности и эстетике, получив оценки значительно выше человеческого порога в обеих категориях. Она также достигла результатов, сопоставимых с человеческими, в генерации статистических графиков, что доказывает её универсальность. Эти результаты представляют собой значительный шаг вперед в автоматизированном создании иллюстраций.

PaperVizAgent превосходит все базовые модели по пяти ключевым показателям, достигая результатов, сопоставимых с результатами, полученными человеком.

Имитация работы старших рецензентов с помощью ScholarPeer

ScholarPeer — это контекстно-ориентированная многоагентная платформа с функцией поиска, разработанная для автоматизации и повышения эффективности процесса рецензирования путем следования рабочему процессу ведущего исследователя.

В отличие от стандартных языковых моделей, рассматривающих рецензирование как простую задачу генерации текста, ScholarPeer опирается на двухпоточный процесс: получение контекста и активную проверку. Он динамически строит повествование о предметной области, используя агента-историка поддоменов, который основывает рецензирование на актуальной литературе в масштабах веб-среды. Базовый агент выступает в роли аудитора-конкурента, целенаправленно ища наборы данных или сравнительные базовые показатели, которые авторы могли пропустить. Наконец, многоаспектный механизм вопросов и ответов тщательно проверяет технические утверждения статьи, обеспечивая глубокую и основанную на фактах критику. Итоговый отчет о рецензировании включает подробное резюме, сильные и слабые стороны, а также вопросы для авторов, подобно стандартной экспертной рецензии.

Получив на вход статью, ScholarPeer использует двухпотоковый процесс поиска информации. Модуль контекста и знаний использует сумматор и обзор литературы с возможностью поиска для сжатия внутренней и внешней информации. Эти входные данные поступают в многоаспектный механизм вопросов и ответов, который генерирует и отвечает на уточняющие вопросы, касающиеся новизны и технической обоснованности. Наконец, генератор рецензий использует эти входные данные и рекомендации по рецензированию, специфичные для конференции, для создания окончательной рецензии.

Результаты работы ScholarPeer демонстрируют огромный потенциал интеграции активного веб-поиска с многоагентной координацией для академической оценки. При тестировании на обширных общедоступных наборах данных ScholarPeer показал значительно более высокие показатели успеха по сравнению с передовыми автоматизированными подходами к рецензированию в параллельных оценках. Что еще более важно, активный процесс проверки системы значительно сократил разрыв между обратной связью, сгенерированной ИИ, и уровнем человеческим фактором, создавая рецензии, которые являются высококритичными, реалистичными и глубоко основанными на существующей литературе.

Сравнительная оценка ScholarPeer по сравнению с существующими фреймворками на общедоступных наборах данных . Левая часть: Показатель успеха ScholarPeer по сравнению с результатами анализа доработанных моделей и базовых моделей на основе агентных алгоритмов . Средняя часть: Средний односторонний балл отзывов, сгенерированных различными фреймворками (лучший отзыв, полученный человеком, считается равным 5). Правая часть: Корреляция между оценками экспертов и рейтингами автоматизированных фреймворков для проведения обзоров.

Что ждет научное сообщество в будущем?

PaperVizAgent и ScholarPeer являются частью наших более широких усилий по изучению исследований с использованием ИИ в целом. Решая две различные, но одинаково сложные фазы жизненного цикла публикации, эти инструменты выступают в качестве партнеров, повышающих качество научного дискурса и способных, наряду с другими инструментами, ускорить распространение знаний.

Хотя эти две платформы предлагают немедленные и ощутимые преимущества для академического сообщества, это только начало нашего пути. Мы видим будущее, где исследователи будут иметь доступ к богатой, взаимосвязанной экосистеме ИИ-помощников, органично интегрированных во все аспекты научного процесса, и мы активно продолжаем нашу работу в этой области.

Благодарности

Мы хотели бы поблагодарить Палаша Гояла, Давея Чжу, Михира Пармара, Руи Мэн Ивэнь Сонга, Йеля Сонга, Хамида Паланги, Сиюй Вэй, Суцзянь Ли и Бурака Гёктюрка за их ценный вклад в эту работу.

Отказ от ответственности

PaperVizAgent и ScholarPeer — это экспериментальные прототипы исследовательских инструментов, а не готовые к внедрению в производство решения. Их автоматизированная обратная связь, графики и обзоры предназначены только для ознакомления с результатами исследований и не должны рассматриваться как окончательная основа для принятия редакционных или издательских решений.

Источник: research.google