Научные вычисления в эпоху агентного ИИ | OpenAI

Научные вычисления являются основополагающим элементом современных исследований в академической среде и промышленности. Однако программное обеспечение, необходимое для анализа научной информации, с трудом справляется с быстрыми темпами генерации данных. Многие широко используемые исследовательские инструменты начинались как код, прилагаемый к научной статье, созданный небольшими академическими группами с ограниченным инженерным опытом и минимальным временем на упаковку, тестирование, оптимизацию или долгосрочную поддержку. В результате научная инфраструктура часто зависит от медленных, ненадежных рабочих процессов, требующих постоянного обслуживания. Эти ограничения замедляют темпы открытий.

Искусственный интеллект начинает менять эту ситуацию. Снижая затраты на инженерные работы и беря на себя рутинные задачи по внедрению, он может помочь исследователям быстрее создавать прототипы идей, реализовывать проекты, которые ранее были нецелесообразны, и проще поддерживать программное обеспечение в долгосрочной перспективе. В результате научное программное обеспечение становится более эффективным и лучше поддерживается, освобождая исследователей для того, чтобы они могли больше времени уделять открытиям.

Мы представляем предварительный отчет о полевых исследованиях восьми проектов научных вычислений с использованием агентов, преимущественно в области биологических наук; пять из них использовали только Codex, а три — комбинацию Codex и Claude Code. В отчете собраны примеры из практики, написанные командами, стоящими за каждым проектом, и выявлены повторяющиеся темы. Проекты варьируются от планового обслуживания и целевой оптимизации до масштабных миграций языков программирования и перепроектирования программного обеспечения, ориентированного на графические процессоры. Участники сообщают, что агенты значительно ускорили разработку и сопровождение программного обеспечения, в некоторых случаях помогая небольшим командам выполнять работу, которая в противном случае потребовала бы гораздо больше времени или специализированной инженерной поддержки. Но они также подчеркивают сохраняющуюся проблему установления четкой, долгосрочной ответственности и управления полученными инструментами.

Авторы статей постоянно описывают сдвиг в роли исследователей от реализации к проверке и координации: они определяют, что нужно создать, устанавливают методы измерения корректности и решают, когда проект готов к выпуску. В этой новой модели исследователи сохраняют контроль над научным направлением и уровнем качества, но при этом ускорение процесса обеспечивается за счет помощи со стороны заинтересованных сторон.

Хотя масштабы этих проектов сильно различались, они продемонстрировали, что программисты-агенты снижают нагрузку на научные вычисления, требуя меньше инженерного труда и экспертных знаний. Теперь же узким местом остается проверка результатов работы ИИ-агента, которая по-прежнему зависит от человеческого суждения.

В ходе тематических исследований агенты эффективно обрабатывали конкретные, четко сформулированные запросы, но не могли достоверно оценить, является ли их работа научно обоснованной или соответствует ли ожиданиям. Более того, агенты часто выражали уверенность, даже когда их работа содержала явные ошибки. Поэтому экспертам-людям необходимо было найти надежные способы проверки результатов. Наиболее эффективные подходы использовали внешний эталон или измеримый целевой показатель приемлемости, такой как точное совпадение результатов, соответствие существующему инструменту, соответствующее статистическое поведение или ответы, установленные заранее с использованием смоделированных данных.

Ещё одной повторяющейся темой было то, что проекты, как правило, продвигались поэтапно, используя итерации, основанные на обратной связи, а не в виде разовых решений. Участники разбивали общие цели на более мелкие изменения, а затем использовали промежуточные контрольные показатели и тестовые системы для оценки и уточнения работы агентов. Агенты часто быстро создавали первоначальные реализации, но решение граничных случаев и незначительных численных различий занимало гораздо больше времени. Завершение «последней мили» реализации часто требовало наибольших усилий.

В целом, эти тематические исследования показывают, что агенты позволяют исследователям тратить меньше времени на реализацию и больше времени на руководство научной работой. Люди определяют цель, разбивают сложные проекты на управляемые части и оценивают, насколько результаты научно обоснованы. Снимая давние инженерные ограничения, агенты расширяют возможности исследователей в области разработки программного обеспечения, освобождая их от рутинной работы и позволяя сосредоточиться на наиболее важных научных вопросах и решениях.

Проблема недостаточной поддержки исследовательского программного обеспечения давно замедляет итерации и ограничивает воспроизводимость и надежность. Опубликованные исследования « исследовательского кода »(откроется в новом окне)и омикс — инструменты(откроется в новом окне)Было обнаружено, что опубликованное программное обеспечение часто не устанавливается должным образом на новом компьютере или не работает так, как описано в документации, что вынуждает исследователей тратить значительное время на настройку и отладку. Даже рутинные улучшения могут сэкономить исследователям время и снизить вычислительные затраты, в то время как рефакторинг и переписывание кода, направленные на повышение производительности, могут принести более значительные результаты.

Однако снижение затрат на внедрение также упрощает создание множества похожих переработок, что приводит к фрагментации пользователей и распределению внимания экспертов, необходимого для поддержания надежности любого отдельного инструмента. Это делает долгосрочное управление и указание авторства крайне важными. Зрелое научное программное обеспечение содержит недокументированные соглашения, требования к совместимости и доверие пользователей, которые невозможно воспроизвести, просто переведя исходный код.

Приведенные примеры иллюстрируют несколько возможных путей развития. Изменения в MHCflurry и cyvcf2 были включены в их первоначальные проекты, в то время как rustar-aligner перешел под новое управление сообщества, поскольку первоначальный проект был заброшен. Там, где есть возможность координации с существующими сопровождающими, ее следует начинать как можно раньше. Если необходима отдельная реализация, ей нужен четкий ответственный и надежный план сопровождения. Без этого сегодняшняя современная переработка может завтра превратиться в заброшенный код, а не в надежную научную инфраструктуру.

Данный полевой отчет носит ретроспективный и исследовательский характер, но представленные примеры указывают на практический сдвиг в подходах к разработке научного программного обеспечения. Агенты кодирования, такие как Codex, могут значительно снизить затраты на обслуживание, миграцию, оптимизацию и новые внедрения. Их долгосрочная научная ценность по-прежнему зависит от решений людей о том, что создавать, как это проверять и кто будет это поддерживать. Более глубокое изменение заключается не просто в том, что исследователи могут создавать больше программного обеспечения, а в том, что они могут сосредоточить больше усилий на определении, проверке и управлении этими инструментами.

Эти примеры показывают, что агенты уже сейчас могут ускорять темп итераций в научных вычислениях. По мере совершенствования программных агентов исследователи смогут тратить меньше времени на поддержание работоспособности аналитических конвейеров и больше времени на развитие своих областей.

Источник