В отчете OpenAI показано, как с помощью программистов ускоряется разработка научного программного обеспечения.

Искусственный интеллект и мы

В отчете OpenAI показано, как с помощью программистов ускоряется разработка научного программного обеспечения.

Компания OpenAI опубликовала новый полевой отчет, отслеживающий восемь проектов в области научных вычислений, в которых программные агенты сокращают время выполнения.

В отчете задокументированы проекты, в которых Codex использовался отдельно в пяти случаях и в комбинации с Кодексом Клода от Anthropic в трех других. Стоит сразу отметить: это отчет поставщика, публикующий обзор применения собственного продукта в исследовательских целях, основанный на тематических исследованиях, написанных самими участниками проекта.

Это не делает лежащую в основе закономерность менее заслуживающей изучения. Научное программное обеспечение имеет задокументированную проблему с поддержкой. Инструменты, созданные для сопровождения одной научной статьи, написанные небольшими академическими группами без выделенной инженерной поддержки, как правило, накапливают технический долг, на погашение которого ни у кого нет ни бюджета, ни полномочий.

В отчете OpenAI утверждается, что агенты могут решить эту проблему, а восемь проектов, на которые он ссылается, охватывают геномику, иммунологию, статистику и секвенирование РНК.

Какие задачи выполняли агенты?

Задачи можно условно разделить на три категории: упаковка и очистка системы сборки, оптимизация производительности существующего кода, а также полная адаптация на разные языки программирования или бэкенда.

Библиотека cyvcf2 на языке Python для чтения файлов с геномными вариантами получила замену устаревшей системы сборки и упаковки на более новую, унифицированную, как сообщил участник проекта Брент Педерсен, отметив, что быстрая разработка агентов — это одно, но для достижения больших успехов в науке по-прежнему необходимы «экспертное руководство, понимание, вкус и забота».

В симуляторе чтения ДНК-секвенирования HI.SIM были проведены две в значительной степени автономные оптимизационные обработки с использованием GPT-5.2 и GPT-5.6, которые, по словам разработчика Эндрю Хо, сократили время выполнения на 31 процент на репрезентативном тестовом наборе без изменения выходных данных.

Хо, который называет себя ни специалистом по геномике, ни программистом на языке C, назвал результат «просто волшебным» с точки зрения конечного пользователя, поскольку ранее он тратил время на ошибки производительности и проблемы с упаковкой, которые он мог распознать, но не мог исправить лично.

По словам участника проекта Суяша Шрингарпуре, программа Hifiasm, используемая для сборки генома из данных PacBio HiFi, сократила время выполнения на 25 процентов при оптимизации целевых показателей и примерно на 15 процентов при работе с отдельными данными секвенирования человека.

Шрингарпуре описал, как агент самостоятельно создает эталонную структуру и предлагает кандидатов, хотя и подчеркнул, что предоставление результатов профилирования и предотвращение повторных сбоев остаются работой, которую может выполнить только человек.

MHCflurry, программа для прогнозирования фрагментов белков, представляемых Т-клеткам, перенесла свой бэкенд на основе TensorFlow/Keras в PyTorch, сохранив при этом совместимость с ранее выпущенными весами модели. Это изменение, по словам участников проекта Алекса Рубинштейна, Сергея Фельдмана и Тимоти О'Доннелла, можно назвать «непривлекательным и трудоемким обслуживанием», которое позволяет поддерживать научные проекты с открытым исходным кодом в рабочем состоянии, а не доводить их до упадка.

bayesm-rs, версия статистических моделей из пакета bayesm в R, адаптированная для Rust, соответствовала оценкам оригинального программного обеспечения в пределах заданного допуска и работала в 2,3–2,7 раза быстрее на одном потоке процессора, а при использовании восьми потоков — в 4,4–9,5 раза быстрее. По словам участников проекта Эндрю Бая и Эндрю Хо, агенты быстро и корректно обрабатывали любые данные, имеющие прямую ссылку для проверки; расширения, требующие статистической оценки, которую оригинальный код не смог определить, нуждались в прямой проверке человеком.

Портирование на Rust и переработка графического процессора ещё больше усугубляют ситуацию.

Ещё три проекта – rustar-aligner, svb и kuva – включали сборки на Rust, выполненные с помощью агентов кодирования, в том числе полное воссоздание STAR, широко используемого инструмента выравнивания РНК-последовательностей, поддержка которого была прекращена.

Автор статьи Джеймс М. Фергюсон говорит, что агенты меняют представление о том, что стоит делать: переписывать вручную алгоритм выравнивания из 20 000 строк — неразумное использование времени, но с агентом это превращается в недели целенаправленной работы. Проверка, добавил он, — это совершенно другой вопрос. Модель может утверждать, что график выглядит хорошо, но проверка более 900 из них визуально перед выпуском все равно ложится на плечи человека.

RustQC объединил 15 отдельных инструментов контроля качества РНК-секвенирования в единую программу, которая, по словам её разработчика Фила Эвелса, сократила время выполнения в 60 раз и ввод/вывод на диск в 25 раз, а сопутствующие пересобранные версии FastQC-Rust и Trim Galore работают в семь и три раза быстрее соответственно, сохраняя при этом поведение исходных инструментов.

Эвелс также указал на обратную сторону медали: дешевые перестройки несут в себе свои риски, поскольку инструменты, различающиеся по своему поведению, фрагментируют сообщество и делают результаты, полученные в разных лабораториях, несопоставимыми во времени. «Технология — это простая часть, — сказал он. — Вопрос управления — открытый».

По сообщениям участников проекта Мамада Ахангари, Варуна Гояла и Хасана Масуди, HelixForge, переработанная версия инструмента моделирования мутаций BAMSurgeon, предназначенная для работы на графических процессорах, сократила время выполнения примерно в 60 раз на бенчмарке с использованием реальных данных о людях. Они также утверждают, что инструмент позволил получить частоты мутаций, более близкие к запрошенным целевым значениям, и устранил несколько ошибок, которые приводили к появлению артефактов в оригинальной версии.

Сейчас ограничивающим фактором является не генерация кода, а верификация.

Из всех описаний следует, что агенты умело обрабатывали четко сформулированные запросы на реализацию, но не могли оценить, насколько научно обоснованы их собственные результаты.

Авторы описывают случаи, когда агенты выражали уверенность в работе, содержащей явные ошибки, что перекладывало фактическую нагрузку на людей, которым приходилось создавать тесты приемки: точное совпадение результатов, проверка на соответствие существующему инструменту или ответы, установленные заранее с использованием смоделированных данных.

Как правило, проекты продвигались поэтапно: агенты быстро создавали первые черновики, а оставшееся время уходило на решение частных случаев и выявление мелких числовых расхождений, которые невозможно было бы обнаружить с помощью одного лишь сравнительного анализа.

Снижение инженерных затрат имеет двойную выгоду. Оно позволяет команде из двух человек взяться за перестройку, которая раньше потребовала бы найма инженера за счет гранта, и упрощает создание трех несовместимых версий одного и того же инструмента тремя разными лабораториями. Изменения в MHCflurry и cyvcf2 были возвращены в их первоначальные проекты. rustar-aligner перешел под управление нового сообщества, поскольку инструмент, который он заменил, уже был заброшен.

В отчете OpenAI указывается на конкретный выбор, а не на общее одобрение: необходимо определить, кому принадлежит переработанный инструмент, и заручиться этим обязательством до выпуска первой строки кода, сгенерированного агентом.

См. также: Guardoc Health обрабатывает клиническую документацию с использованием моделей Amazon Nova.

Хотите узнать больше об искусственном интеллекте и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие является частью TechEx и проводится одновременно с другими ведущими технологическими выставками, включая Cyber Security & Cloud Expo. Для получения дополнительной информации нажмите здесь.

AI News — это проект TechForge Media. Здесь вы можете ознакомиться с другими предстоящими мероприятиями и вебинарами, посвященными корпоративным технологиям.

Источник: www.artificialintelligence-news.com