Kosmos: учёный, работающий в области искусственного интеллекта, заявил, что выполнил работу, требующую шести месяцев исследований, всего за несколько часов

Может ли учёный, работающий с ИИ, помочь исследователям совершить прорыв, анализируя данные и изучая существующую научную литературу? Так утверждают создатели «Космоса», но не все в этом убеждены.

Создатели ИИ-ученого утверждают, что он может работать автономно часами, выполняя исследования, на которые у людей ушли бы месяцы, и внес несколько «новых вкладов» в науку, однако другие выражают в этом большие сомнения.

Система под названием Kosmos на самом деле представляет собой набор агентов ИИ, которые специализируются на анализе данных и поиске в существующей научной литературе с целью совершения новых научных прорывов.

«Мы работаем над созданием учёного в области ИИ уже около двух лет», — говорит Сэм Родригес из Edison Scientific, американской компании, стоящей за Kosmos. «И ограничение, накладываемое учёными в области ИИ, которые были представлены на сегодняшний день, всегда заключается в сложности идей, которые они могут предложить».

Kosmos стремится это исправить. В течение типичного запуска, который может длиться до 12 часов, пользователь вводит набор научных данных, а Kosmos ищет и анализирует около 1500 соответствующих научных статей, одновременно создавая и выполняя 42 000 строк кода для исследования данных. В конце запуска ИИ выдаёт сводку результатов, включая цитаты или данные, и создаёт план дальнейшего анализа, который может быть использован в качестве входных данных для следующего цикла.

После заданного количества циклов система выдаёт отчёты, подкреплённые соответствующими ссылками, содержащие научные выводы, аналогичные научным статьям. Оценка, проведённая группой учёных, показала, что 20 циклов такого анализа эквивалентны примерно шести месяцам их собственного исследовательского времени.

По словам Родригеса, выводы системы в целом кажутся точными. Эдисон попросил людей, обладающих как минимум докторской степенью по биологии, оценить 102 утверждения Kosmos. Команда обнаружила, что 79,4% из них в целом подтвердились, включая 85,5% утверждений, связанных с анализом данных, и 82,1% утверждений, которые, по её словам, содержатся в существующей литературе. Однако Kosmos не так хорошо справляется с объединением всех этих данных для формирования новых заявлений о научных прорывах: здесь он верен лишь в 57,9% случаев.

Эдисон утверждает, что Kosmos сделал семь научных открытий, каждое из которых было подтверждено внешними экспертами и воспроизведено независимыми экспертами в этой области с использованием внешних наборов данных или другими методами. Четыре из этих открытий были действительно новыми, утверждают разработчики Kosmos, а остальные три уже существовали, хотя и в виде препринтов или неопубликованных статей.

Одно из заявленных открытий — новый метод определения нарушений клеточных процессов при прогрессировании болезни Альцгеймера. Другое доказательство заключается в том, что у людей с повышенным содержанием в крови естественного антиоксидантного фермента супероксиддисмутазы 2 (СОД2) наблюдается меньше рубцов на сердце.

Но другие специалисты в этой области неоднозначно отреагировали на эти заявления. Фергус Гамильтон из Бристольского университета (Великобритания) утверждает, что «открытие» SOD2 — это совсем другое дело. «Это конкретное причинно-следственное утверждение, вероятно, не выдерживает критики как новое открытие, и в проведённом анализе есть методологические недостатки», — говорит он. Родригес признаёт, что открытие SOD2 ранее было обнаружено у мышей, но, по словам эксперта по данной теме, работающего с Edison, это первый случай обнаружения этого гена на популяционном уровне у людей с помощью геномики.

Гамильтон также говорит, что код анализа данных, который пытался запустить агент, не работал должным образом, поэтому Kosmos проигнорировал важные данные, но все равно пришел к тому же выводу, что и в предыдущей работе.

«Он сделал ряд допущений, которые были бы крайне важны для корректного анализа», — говорит он. «Программные пакеты полностью глючат, и затем он просто игнорирует их». Кроме того, он предполагает, что в данном случае данные были настолько предварительно обработаны, что Kosmos «фактически выполнил, вероятно, 10 процентов задачи».

Гамильтон отдаёт должное команде Kosmos за то, что они откликнулись на его вопросы и ответили на его вопросы в социальных сетях. «В принципе, это действительно хороший шаг вперёд, но, пожалуй, главная техническая претензия к этой работе заключается в том, что она не на должном уровне», — говорит он.

«Я вполне допускаю, что некоторые из представленных нами результатов могут быть ошибочными или некорректными, и это всего лишь часть науки», — говорит Родригес. «Однако тот факт, что это вызывает такую изощрённую критику, на мой взгляд, говорит о силе системы».

Другие впечатлены общими результатами Kosmos. «Он демонстрирует огромный потенциал ИИ для поддержки научных открытий, но я бы с осторожностью относился к автономному использованию ИИ-ученым», — говорит Бен Глокер из Имперского колледжа Лондона. «Работа демонстрирует несколько замечательных примеров успеха, но у нас мало информации о возможных ошибках».

«Я считаю, что нам следует использовать такие инструменты, как Kosmos, и разрабатывать другие, подобные ему, но не стоит забывать, что наука — это нечто большее, чем просто метод, основанный на данных», — говорит Ноа Джансиракуза из Университета Бентли в Массачусетсе. «Существуют также глубокие размышления, глубокое творчество, и было бы глупо отказываться от всего этого только потому, что наука, которую мы можем автоматизировать, лучше поддаётся ИИ».

Сам Родригес признаёт, что Kosmos следует использовать как инструмент для сотрудничества, а не как замену учёным. «Он способен на множество очень, очень впечатляющих вещей», — говорит он. «Всё равно нужно всё изучить, прочитать и проверить. И он не всегда будет верен».

arXiv DOI: 10.48550/arXiv.2511.02824

Источник: www.newscientist.com