Представляем LifeSciBench | OpenAI
Разработанный и прошедший экспертную проверку эталонный тест, основанный на реальных исследованиях в области биологических наук.
Прочитайте статью (откроется в новом окне)
Системы искусственного интеллекта становятся все более способными выполнять научные задачи. Однако их полезность для исследователей в области биологических наук зависит от того, насколько хорошо они справляются со сложностью реальных исследований. Эта работа редко выглядит как простой вопрос на запоминание фактов или простая задача прогнозирования. Исследователи интерпретируют неполные данные, согласовывают противоречивые результаты, разрабатывают сложные эксперименты, устраняют неполадки в анализах, оценивают риски внедрения результатов и принимают решения о дальнейших действиях в условиях неопределенности.
Существующие критерии оценки не в полной мере отражают эти возможности. Многие оценки в области биологических наук сосредоточены на узких областях или отдельных навыках, что приводит к вопросам со структурированным форматом и однозначными ответами. Хотя они и ценны, они часто не позволяют по-настоящему оценить, может ли модель внести вклад в более широкий спектр исследовательской работы.
Мы разработали LifeSciBench, чтобы помочь восполнить этот пробел. Каждая задача основана на экспертной оценке практикующих ученых-биологов с докторской степенью и непосредственным опытом продвижения программ разработки лекарственных препаратов в биотехнологических и фармацевтических компаниях.
LifeSciBench включает 750 задач, разработанных экспертами и охватывающих семь рабочих процессов и семь биологических областей.
1062
артефакты задачи
173
Авторы научных работ
19,020
Критерии оценки
453
Экспертные рецензенты
Что измеряет LifeSciBench
LifeSciBench оценивает, могут ли системы искусственного интеллекта поддерживать реалистичные задачи биологических исследований, а не просто отвечать на биологические вопросы. Для определения таксономии эталона мы опросили практикующих ученых-биологов о рабочих процессах, которые они чаще всего используют в прикладных исследованиях. Затем мы сгруппировали их ответы в семь повторяющихся категорий: обработка данных, анализ, проектирование и оптимизация, научное мышление, проверка и эксплуатация, перевод и научная коммуникация.
Каждое задание структурировано как запрос, который учёный мог бы сделать знающему коллеге: научная подсказка, соответствующий контекст или материалы, а также ответ в свободной форме. Разработанные экспертами критерии оценивают, может ли модель дать правильный ответ на конкретную проблему, с необходимым уровнем детализации, обоснованием, оговорками и форматированием, ожидаемым учёным.
построение набора данных
LifeSciBench оценивает научное мышление наряду с менее четко определенными практическими навыками, необходимыми для реального применения в науке. Задания требуют от моделей решения реалистичных исследовательских проблем: интерпретации доказательств, вынесения обоснованных суждений и донесения выводов, которые были бы полезны экспертам. Многие задания также требуют от моделей умения работать с неопределенностью и рассуждать на основе подтверждающих данных, а не полагаться только на текст подсказки.
Этот тест разработан с учетом сложности работы в области биологических наук. В целом, 79% задач требуют нескольких этапов рассуждения или принятия решений, в среднем четыре этапа на задачу. LifeSciBench включает 1062 прикрепленных артефакта, охватывающих рисунки, PDF-файлы, таблицы, файлы последовательностей, структурные или химические файлы и веб-ссылки. Более половины задач (53%) требуют от моделей интерпретации или синтеза информации как минимум из одного артефакта.
Задания были разработаны 173 учеными-экспертами из различных областей биологических наук. Каждый ученый имел докторскую степень и опыт работы в биотехнологической или фармацевтической промышленности. Задания могли проходить столько циклов доработки, сколько было необходимо, без фиксированного ограничения по количеству раундов; принятые задания в среднем проходили шесть самостоятельных автоматизированных циклов проверки и как минимум два раунда экспертной оценки. Оценка основывалась либо на проверяемом правильном ответе, либо на твердом консенсусе экспертов, при этом степень согласия между рецензентами в соответствующей области составляла не менее 90%. Этот процесс помог гарантировать, что принятые задания были научно обоснованы, достаточно ясны для оценки и отражали прикладные исследования.
Разбор системы оценок и критериев оценивания
Задания LifeSciBench оцениваются с помощью подробной, специфичной для каждого задания рубрики, которая разбивает ожидаемый ответ на конкретные научные утверждения, расчеты, решения, обоснования и так далее. В рамках всего эталонного теста разработанные экспертами рубрики включают 19 020 критериев — в среднем 25 на задание — для оценки как научной корректности, так и полезности для принятия решений в области исследований.
Данная методика отражает то, как научная работа оценивается на практике: многие задачи в области биологических наук нельзя оценить, просто проверив окончательный ответ. Ответ может привести к правильному выводу высокого уровня, но при этом быть признан неполным, если, например, он упускает из виду ключевое ограничение метода или не поднимает важный биологический нюанс. И наоборот, частичный ответ может содержать качественные рассуждения, даже если он не полностью решает задачу.
Детальные критерии оценки отражают этот нюанс. LifeSciBench оценивает не только точность конечного результата, но и то, достигает ли модель своего ответа научно обоснованным и практически полезным способом.
Извлечение, сопоставление и проверка научных данных из статей, рисунков, таблиц и экспериментальных записей.
Пример оценки
Мы готовимся к встрече с FDA типа B по поводу AAV9-microDys-X, генной терапии на основе микродистрофина с использованием AAV9 для лечения мышечной дистрофии Дюшенна, которая экспрессирует конструкцию с молекулярной массой 138 кДа под контролем промотора MCK, и нам нужна объективная критика того, действительно ли наш текущий пакет документов поддерживает ускоренное одобрение экспрессии микродистрофина в качестве суррогатного показателя, который с достаточной вероятностью предсказывает клиническую пользу.
Контекст исследования: открытое исследование фазы 1b/2 с участием 12 амбулаторных мальчиков в возрасте 4–7 лет с подтвержденной мышечной дистрофией Дюшенна и делециями стержневых доменов с нарушением рамки считывания. В комплект входят:
- Биопсия латеральной широкой мышцы бедра до начала лечения: 0–3% дистрофина здоровых контрольных лиц, определенное количественным вестерн-блоттингом с использованием MANEX1A против N-концевого актин-связывающего домена.
- Биопсия контралатеральной латеральной широкой мышцы бедра через 12 недель после лечения: среднее содержание микродистрофина 38% от уровня у здоровых контрольных лиц (диапазон 18–61%) по данным того же вестерн-блота, нормализованное по общему количеству белка с помощью окрашивания Кумасси.
- Иммунофлуоресцентное исследование после обработки: сарколеммальный сигнал в 75–95% волокон с использованием поликлональных антител к С-концевому участку дистрофина.
- Функциональное состояние через 48 недель: среднее изменение NSAA на +1,4 балла по сравнению с исходным уровнем, тогда как в опубликованной внешней когорте естественного течения заболевания этот показатель составил -0,6 балла (p = 0,03 по непарному t-критерию).
- Безопасность: транзиторное повышение уровня трансаминаз у 8 из 12 пациентов, получавших лечение с постепенным снижением дозы стероидов; один случай купирования миокардита; летальных исходов не было.
- Биораспределение/персистенция: геномы вектора AAV9 обнаруживаются в мышцах через 12 недель в среднем по 2,3 генома вектора на ядро.
- Критерии отбора: отсутствие исходных нейтрализующих антител к AAV9 (титр <1:400) и отсутствие делеций в экзоне 44.
Пожалуйста, проверьте каждый пункт этого пакета на прочность: где, по мнению FDA или скептически настроенного эксперта, представленные доказательства не подтверждают наш вывод, и какие дополнительные данные, анализы или изменения в дизайне потребуются для устранения этих пробелов, если это возможно? В отношении всего, что не указано, следует исходить из того, что известно из других программ по разработке микродистрофина 138 кДа для клинического применения и соответствующих клинических испытаний до 31 декабря 2025 года.
Ответ кандидата
В итоге: представленный пакет документов недостаточно убедителен для ускоренного одобрения использования экспрессии микродистрофина в качестве суррогатного показателя, способного с достаточной вероятностью предсказать клиническую пользу. Скептически настроенный эксперт FDA, вероятно, сочтет доказательства, касающиеся биомаркеров, функциональных свойств, долговечности, безопасности и обобщаемости, недостаточно обоснованными.
|
Упаковочный товар |
Ключевой режим отказа |
Что потребуется |
|---|---|---|
|
Количественный анализ методом вестерн-блоттинга |
MANEX1A связывается с N-концевым эпитопом, общим для эндогенного полноразмерного дистрофина и трансгена микродистрофина, поэтому данный анализ не позволяет четко отличить трансген от остаточного/ревертантного дистрофина. Количественное определение микродистрофина с молекулярной массой 138 кДа по сравнению со стандартным образцом полноразмерного дистрофина у здоровых людей также некорректно. |
Используйте рекомбинантный микродистрофиновый стандарт и ортогональный метод, позволяющий отличить трансген от эндогенного дистрофина, например, целевую масс-спектрометрию или анализ, специфичный для трансгена/эпитопа. |
|
Иммунофлуоресценция |
Поликлональные антитела к С-концу плохо подходят, поскольку в конструкции с молекулярной массой 138 кДа отсутствует С-концевой домен. У многих пациентов с ДМД наблюдаются ревертантные волокна, а ревертантный дистрофин может сохранять С-концевые эпитопы. Ревертантные волокна могут клонально размножаться с возрастом, искажая сигнал иммунофлуоресценции, особенно у мальчиков старшего возраста. |
Повторите иммунофлуоресцентный анализ с использованием антитела к эпитопу, присутствующему в трансгене, но отсутствующему в ревертантном дистрофине. Количественно оцените трансген-положительные волокна отдельно от ревертантных волокон. |
|
Валидность суррогатной конечной точки |
В инструкции смешивают количество белка с клинической функцией. Утверждение «38% от массы белка у здоровых людей» не означает 38% от нормальной функции дистрофина, поскольку микродистрофин имеет укороченную структуру. |
Прежде чем рассматривать экспрессию в качестве суррогатного показателя, необходимо эмпирически подтвердить взаимосвязь между массовой долей микродистрофина, локализацией в сарколеммальной области, восстановлением функций нижележащих звеньев и клинической пользой. |
|
дизайн биопсии |
Биопсия контралатеральной латеральной широкой мышцы бедра до и после лечения выявляет пространственную изменчивость между левой и правой сторонами, а также внутримышечную изменчивость. Прогрессирование заболевания и фиброзно-жировая инфильтрация также могут изменять сигнал, нормированный по общему количеству белка. |
Стандартизировать место биопсии, используя согласованные анатомические ориентиры, нормализовать результаты по белкам, специфичным для мышц, и параллельно измерить фиброзно-жировой состав. |
|
Сравнительный показатель/статистика NSAA |
Внешняя когорта с естественным течением заболевания не является рандомизированным контрольным исследованием. Критерии отбора участников исследования, поддерживающая терапия, эффекты участия, исходный уровень NSAA, режим стероидной терапии, возраст и класс экзона — все это может исказить результаты сравнения. Непарный t-тест недостаточен. Кроме того, изменение уровня NSAA на +1,4 находится в пределах вариабельности результатов повторного тестирования для данной возрастной группы. |
Провести рандомизированное плацебо-контролируемое исследование или, как минимум, использовать скорректированный анализ с учетом исходного уровня NSAA, возраста, режима приема стероидов, класса экзона и других искажающих факторов. |
|
Влияние возрастного окна на результаты |
У мальчиков в возрасте 4–7 лет наблюдается период развития, когда у амбулаторных пациентов с мышечной дистрофией Дюшенна, не получающих лечения, может наблюдаться улучшение двигательных функций до того, как начнется их ухудшение. Изменение показателей NSAA за 48 недель сочетает в себе улучшение развития, прогрессирование заболевания и возможный эффект лечения. |
Для разделения траектории развития и эффекта лечения используйте рандомизированное контролируемое исследование с возрастной стратификацией. |
|
Предшествующие клинические прецеденты |
Открытые исследования функциональных сигналов микродистрофина не дали надежных результатов в подтверждении положительного эффекта; в опубликованных прецедентах упоминаются подтверждающие исследования генной терапии микродистрофином, которые не смогли воспроизвести улучшения, отмеченные в открытых исследованиях NSAA. |
Не следует полагаться на изменения в NSAA, выявленные в ходе открытого исследования, как на решающее доказательство. Необходимо получить контролируемые функциональные данные. |
|
Структурные ограничения конструкции |
Конструкция массой 138 кДа удаляет спектриновые повторы R16/17, содержащие сайты связывания nNOS. Потеря связывания nNOS может нарушить функциональный симпатолиз и защиту от ишемии во время физических упражнений, создавая механистический потолок для восстановления, не зависящий от уровня экспрессии. |
Необходимо добавить механистические исследования, показывающие, восстанавливает ли данная конкретная конструкция функцию соответствующего комплекса, связанного с дистрофином, локализацию nNOS, физиологию физических упражнений и защиту мышц. |
|
долговечность AAV |
Геномы векторов через 12 недель не обеспечивают устойчивой экспрессии. Геномы AAV9 в основном представляют собой неинтегрирующиеся эписомы и могут снижаться со временем. Устойчивость генома вектора не то же самое, что устойчивая экспрессия белка. |
Оцените продольную экспрессию трансгенного белка и устойчивость функциональных биомаркеров в течение более чем 12 недель. |
|
Иммунный/профиль безопасности |
Повышение уровня трансаминаз у 8 из 12 пациентов соответствует иммунному ответу на клетки, трансдуцированные AAV, однако механизм этого явления не установлен. Один случай миокардита вызывает опасения, учитывая кардиотропизм AAV9. |
Необходимо обеспечить более глубокий иммунологический мониторинг, характеристику безопасности для печени и сердца, а также усиленное кардиологическое наблюдение. |
|
Отбор пациентов/обобщаемость результатов |
Исключение пациентов с положительным результатом на нейтрализующие антитела к AAV9 ограничивает возможность обобщения результатов. Исключение делеций в экзоне 44 ограничивает применимость к этой подгруппе пациентов с ДМД. Количество пациентов (n=12) слишком мало для характеристики безопасности и эффективности в более широкой популяции пациентов с ДМД. |
По возможности следует расширить круг лиц, имеющих право на участие, или заранее определить стратифицированный анализ по статусу антител, генотипу/классу экзона, возрасту и исходному состоянию здоровья, прежде чем использовать результаты для обоснования широкого одобрения. |
Регуляторный вывод: Упаковка может демонстрировать биологическую активность, но пока не установлено, что измеренная экспрессия микродистрофина является надежным суррогатным показателем, способным с достаточной вероятностью предсказать клиническую пользу. Основные недостатки заключаются в специфичности анализа, недействительных стандартах количественного определения, возможном смешивании с ревертантными волокнами, отсутствии рандомизированного контроля, смешивании с возрастными изменениями NSAA, неопределенной долговечности и нерешенных вопросах безопасности/обобщаемости.
Для устранения этого пробела программе потребуется контролируемый, стратифицированный по возрасту клинический дизайн с анализами экспрессии трансгенов, ортогональным количественным определением белков, контролем состава тканей, данными о долгосрочной устойчивости, механистическими функциональными анализами укороченной конструкции и более строгим мониторингом безопасности, особенно в отношении печени и сердца.
Критерии оценки и баллы
Критерии оценки: Выявляет проблемы анализа/измерения при количественном определении микродистрофина, включая совпадение эпитопа MANEX1A, недействительные стандарты полноразмерного дистрофина и необходимость измерения с использованием рекомбинантных или ортогональных трансгенов. +24 Объясняет, почему уровень экспрессии микродистрофина не является автоматически допустимым суррогатом функциональной клинической пользы. +22 Отмечает факторы, влияющие на результаты, связанные с местом биопсии, составом ткани и возрастным окном, которые ослабляют интерпретацию экспрессии и NSAA. +19 Критикует компаратор/статистику NSAA, особенно зависимость от внешних контрольных групп естественного течения заболевания. +12 Рассматривает долговечность AAV, иммунный ответ, трансаминит, миокардит и необходимость более длительного наблюдения за экспрессией/безопасностью. +15 Отмечает пробелы в отборе пациентов/обобщаемости результатов, включая исключение анти-AAV9, исключение экзона 44 и малый размер выборки. +8
Проверка работоспособности LifeSciBench
Мы провели валидацию LifeSciBench с помощью независимой экспертной оценки. Отзывы поступили от 453 рецензентов, не участвовавших в написании заданий. Из этих рецензентов 97% имели степень доктора философии или эквивалентную докторскую степень, в среднем 12 лет опыта работы в данной области и 14 публикаций в рецензируемых журналах; 88% сообщили о получении как минимум одной награды или стипендии.
Эксперты оценивали, насколько каждое задание соответствовало качествам, необходимым для надежного эталонного вопроса: соответствие реальным исследованиям, надлежащая проверка научного мышления и экспертных знаний, обоснованность доказательствами или консенсусом экспертов, а также общая полезность для оценки производительности модели. Согласованность оценок превысила 96% по каждой категории.
Реальная значимость
Отражает ли данное задание реалистичные условия работы в области биологических наук?
Полностью согласен: 90,4% В целом согласен: 98,3%
Научное мышление / экспертные знания
Проверяет ли это задание и оценивает ли оно соответствующие навыки научного мышления и знания в области биологических наук?
Полностью согласен: 86,4% В целом согласен: 98,1%
Научное обоснование
Является ли эта задача научно обоснованной, поддающейся решению и подкрепленной соответствующими доказательствами, данными, артефактами или консенсусом экспертов?
Полностью согласен: 77,1% В целом согласен: 96,5%
Общая полезность
В целом, можно ли отнести эту задачу к категории качественных оценок в области биологических наук?
Полностью согласен: 79,1% В целом согласен: 96,6%
Комментарии рецензентов подтвердили количественные оценки:
« В целом, это сложная задача, поскольку она имеет одну правильную основную интерпретацию, но при этом оставляет место для выбора более подходящих ответов в зависимости от того, насколько тщательно они ограничивают неопределенность».
- Учитывающий неопределенность
- Междоменный
- Основано на доказательствах
Результаты
Мы приводим два взаимодополняющих показателя. Показатель успешности — это процент задач, в которых модель соответствует пороговому значению успешности на уровне задачи, равному 70%. Оценка — это средняя оценка по критериям, учитывающая частичный успех по отдельным критериям, даже если задача не решена полностью. Оба показателя важны, поскольку ответ на научную задачу может быть частично правильным или полезным, не удовлетворяя всем требованиям для полного ответа.
Производительность модели существенно различается в зависимости от типа задачи, рабочего процесса и формата ответа.
Где системы искусственного интеллекта демонстрируют свои преимущества на ранних этапах.
LifeSciBench показывает, что модели, демонстрирующие передовые результаты, относительно сильны в задачах, связанных с научным синтезом, коммуникацией и структурированной интерпретацией. Абсолютные показатели успешности пока невелики, поэтому эти области тестирования далеки от насыщения, но GPT-Rosalind демонстрирует значительный прогресс по сравнению с GPT-5.5, повышая общий показатель успешности с 25,7% до 36,1%.
Наиболее выраженный прогресс в возможностях моделей наблюдается в научной коммуникации и трансляции. Например, процент успешного прохождения проверки научной коммуникации увеличивается с 56,3% для GPT-5.5 до 71,1% для GPT-Rosalind; эта категория невелика (n=9), поэтому ее следует интерпретировать с осторожностью, но она свидетельствует о быстром улучшении способности передовых моделей систематизировать данные и создавать убедительные объяснения для экспертов. Трансляция (процесс разработки лекарств «от лаборатории к клинической практике») демонстрирует аналогичную тенденцию, увеличиваясь с 36,8% для GPT-5.5 до 57,7% для GPT-Rosalind, что говорит о быстром улучшении способности моделей связывать доклинические данные с клиническими последствиями.
Результаты, полученные на уровне критериев оценки, указывают в том же направлении. В задачах, требующих полезных для экспертов или практически применимых результатов, GPT-Rosalind получает 44,7% баллов по сравнению с 29,1% у GPT-5.5. В задачах, требующих обработки неопределенности и оговорок, она получает 44,8% баллов по сравнению с 29,3%. Эта закономерность предполагает, что модели наиболее полезны, когда задача имеет четкие границы доказательной базы и требует структурированного научного суждения.
Где системы искусственного интеллекта все еще не дотягивают
Производительность остается значительно ниже в научных исследованиях, требующих большого количества артефактов, сложных проектных решений и ограниченных операционными рамками. В частности, проектирование, оптимизация и прогнозирование остаются одним из самых сложных рабочих процессов, с показателем успешного прохождения теста GPT-Rosalind на уровне 30,7%; анализ также сложен — 30,3%.
Особенно заметным является разрыв в использовании артефактов. Хотя GPT-Rosalind показывает лучшие результаты, чем GPT-5.5 в условиях большого количества артефактов, его процент успешного прохождения теста все еще падает с 45,1% в задачах только с текстом до 28,1% в задачах с артефактами или URL-адресами. GPT-5.5 демонстрирует ту же тенденцию, падая с 29,9% до 21,9%. Более детальный анализ подтверждает, что передовые модели испытывают трудности с извлечением информации из сложных рисунков или больших файлов последовательностей и интеграцией этой информации в конечный результат.
Формат ответа также имеет значение. Задачи, требующие точных результатов на уровне последовательности, структуры или конструкции, показывают более низкие показатели успешного прохождения: GPT-Rosalind достигает лишь 14,8% в числовых задачах и 24,0% в задачах, требующих вывода последовательности или структуры. Задачи по генерации конструкций также являются проблемными: GPT-Rosalind показывает результат в 27,3%, что незначительно превосходит GPT-5.5. Частично этот разрыв может отражать более строгую систему оценки для задач с точными ответами, где небольшие различия в вычислениях или форматировании могут привести к тому, что ответ не пройдет проверку. Тем не менее, эти неудачи имеют научное значение, поскольку многие рабочие процессы в биологических науках требуют достаточно точных результатов для непосредственного использования, например, при разработке доноров CRISPR/HDR или разработке siRNA.
Модели также часто доходят до цели, не решая задачу полностью. Примерно в 14% задач модели получили существенные баллы по критериям оценки, несмотря на то, что не достигли порога полного прохождения. В случае с GPT-Rosalind в 109 задачах процент прохождения был ниже 20%, при этом модели все равно получили не менее 50% баллов по критериям оценки. На практике это означает, что модели могут выявлять релевантные доказательства или давать правдоподобный частичный ответ, но все же терпеть неудачу, потому что упускают ключевое ограничение, используют неверные доказательства, делают неполные вычисления или не связывают свои рассуждения с научно обоснованным окончательным решением.
Ограничения и что дальше?
LifeSciBench — это шаг к оценке того, насколько полезными могут быть системы искусственного интеллекта для исследований в области биологических наук, но он не заменяет изучение моделей в реальных исследовательских средах. Бенчмарк фокусируется на самодостаточных задачах, отражающих повторяющиеся рабочие процессы в отрасли, оставляя многие научные специальности и типы задач за пределами его текущего охвата. Реальные исследования носят итеративный характер: ученые собирают новые данные, пересматривают гипотезы, разрабатывают последующие эксперименты и корректируют свои планы по мере появления результатов.
Поэтому высокие результаты в LifeSciBench следует интерпретировать как свидетельство реальных возможностей на уровне решения задач, а не как прямое измерение влияния последующих исследований. Этот бенчмарк основан на отраслевых рабочих процессах, но он не отражает всего многообразия и динамики действующих исследовательских программ, где прогресс зависит от факторов, которые проявляются с течением времени.
Следующий шаг — связать результаты тестирования производительности с исследованиями внедрения в реальных исследовательских процессах. Хотя LifeSciBench был разработан совместно с практикующими учеными, для оценки того, ускоряют ли системы ИИ открытия или улучшают результаты НИОКР, потребуется изучение использования и производительности моделей в реальных исследовательских условиях, в течение более длительного периода времени и в рамках нескольких этапов анализа, обратной связи и экспериментального наблюдения.
Примите участие!
Помогите сформировать следующее поколение эталонных тестов для ИИ в области биологических наук или запросите доступ к GPT-Rosalind. Присоединяйтесь в качестве участника. Запросить доступ.
Источник: openai.com
Оцените материал:
