Федерация плюс тонкая настройка: стремление к развитию моделей федеративного обучения продолжается.

Автор: Эллисон Проффитт

4 июня 2026 г. | Федеративное обучение меняет правила игры в разработке лекарств, заявила группа докладчиков на прошедшей в прошлом месяце конференции и выставке Bio-IT World. Возможности огромны, но успех зависит от установления доверия и тонкой настройки моделей для отдельных приложений.

Федеративное обучение существует уже довольно давно. Проект MELLODDY, объединяющий 10 фармацевтических компаний и посвященный количественной зависимости структура-активность (QSAR), был опубликован в 2023 году. Основная идея заключается в обучении базовых моделей на собственных данных различных учреждений, но при этом из одного учреждения в другое переносятся только веса моделей.

«Ключевой момент заключается в том, что модель обращается к данным. Затем модель перемещается в эту среду, обучается на этих данных… и изменения весов или градиентов модели интегрируются в локальную модель. И это можно повторять», — объясняет Джонатан Б. Гилберт, доктор философии, старший директор по развитию экосистемы и партнерским отношениям с участниками, Eli Lilly and Company. «Эта идея позволяет улучшать модель, сохраняя при этом конфиденциальность отдельных наборов данных, которые никогда не попадают к другим сторонам, никогда не выходят за пределы своей частной среды».

Вуди Шерман, доктор философии, основатель и главный директор по инновациям компании PsiThera, также является председателем исполнительного комитета OpenFold, консорциума, объединяющего более 40 биотехнологических, фармацевтических и технобиологических групп, занимающихся разработкой инструментов искусственного интеллекта с открытым исходным кодом для решения задач структурной биологии и разработки лекарств. С его точки зрения, Шерман видит переломный момент в развитии инструментов с открытым исходным кодом и разработке лекарств. По мере роста объёма биологических данных, по его словам, «нам понадобятся эти открытые платформы, на которых мы все сможем строить. Мы не можем каждый из нас создавать свои собственные базовые модели с нуля; это просто не имеет смысла».

Шерман предполагает создание открытых платформ, на которых группы смогут взаимодействовать на доконкурентном уровне для построения наилучшей базовой модели, ее федеративного обучения, а затем тонкой настройки модели с использованием собственных данных.

В число собственных проектов OpenFold входят OpenFold3, OpenStability, RF4 для проектирования белков и другие.

«AlphaFold от DeepMind, безусловно, практически в одночасье изменил область сворачивания белков, продвинув её вперёд так, как это никогда не удавалось соревнованиям CASP», — сказал Мохаммад Аль-Курайши, доктор философии, доцент кафедры системной биологии Колумбийского университета и соучредитель OpenFold. По словам Аль-Курайши, ключевым преимуществом AlphaFold2 стало предоставление калиброванных прогнозов. «Он не только давал ответ, но и вселял уверенность в этот ответ».

Но даже AlphaFold2 не может сделать всё. Аль-Курайши отметил, что AlphaFold2 не мог эффективно обрабатывать комплексы, лиганды или ионы. AlphaFold3, таким образом, улучшил предыдущую модель, но точность для нуклеиновых кислот всё ещё была низкой, с лигандами — сомнительной, а возможности модели по прогнозированию конформационных изменений были ограничены.

Было куда стремиться. И OpenFold — открытый как в отношении данных, так и кода, полностью воспроизводимый — отвечает этой потребности, представляя собой «набор инструментов, позволяющих создавать модели такого типа, расширять их и применять».

Аль-Курайши считает, что в ближайшие пять лет благодаря открытым базовым моделям, таким как OpenFold, улучшится обобщающая способность, скорость и масштабируемость.

Открытые модели в федеративной среде

Гилберт из Lilly обозначил следующий шаг: переход от моделей открытого фонда к федеративной системе, обучающейся на собственных данных. Lilly успешно решила эту проблему с помощью TuneLab, запущенного в сентябре 2025 года. Через TuneLab Lilly предоставляет свои модели ИИ/машинного обучения биотехнологическим компаниям бесплатно, за исключением предоставления собственных наборов данных для их улучшения.

«Это те же самые модели, которые мы используем каждый день», — подтвердил Гилберт. «Эти модели были обучены на внутренних наборах данных, накопленных за десятилетия. По оценкам, компания Lilly внесла в эти модели данные на сумму более миллиарда долларов».

Гилберт сообщил о «взрыве» энтузиазма вокруг TuneLab с начала года и заявил, что у Lilly теперь более 75 партнеров на трех континентах и в десятках стран. Гилберт сказал, что существует около 40 моделей, ориентированных на разработку малых молекул с точки зрения ADME-токсичности и антител.

Гилберт подчеркнул, что для любой федеративной модели «критически важно, чтобы модель не только улучшала свои характеристики, но и была простой и удобной в использовании». Компания Lilly уделила приоритетное внимание пользовательскому интерфейсу TuneLab, чтобы партнеры могли легко заходить на веб-сайт и делать прогнозы. Утром в день мероприятия Lilly объявила о сотрудничестве с Collaborative Drug Discovery по интеграции TuneLab в CDD Vault, что позволит получить доступ к моделям в большем количестве сред.

Делать правильные вещи правильным способом

Проблема всегда заключалась в отсутствии у федеративного обучения надежной бизнес-модели. Но Хосе-Томас Прието, доктор философии, директор программ ИИ в компании Apheris, сравнил его с ремнем безопасности. Хотя вы, возможно, предпочли бы ездить без него, сигналы тревоги делают это раздражающим. «Федеративное обучение в некотором смысле похоже на это в том смысле, что оно значительно затрудняет неправомерные действия при работе с очень конфиденциальными, иногда секретными, коммерческими данными».

Смысл в том, что это правильное решение, хотите вы этого или нет.

Компания Apheris предлагает продукты для федеративных сетей в области разработки лекарств, позволяя своим клиентам присоединяться к федеративным сетям машинного обучения или создавать собственные, одновременно защищая конфиденциальные данные. Apheris поддерживает сеть AISB (AI Structural Biology), объединяющую девять фармацевтических компаний, специализирующихся на белково-белковых взаимодействиях и сродстве связывания. Компания также поддерживает сеть ADMET с помощью Recursion и других фармацевтических компаний, занимающихся прогнозированием свойств малых молекул. Apheris совместно с Ginkgo Dataworks развивает сеть разработки антител.

«Общим знаменателем для этих сетей является то, что модели обучаются на конфиденциальных данных безопасным способом», — сказал Прието. Конфиденциальные данные никогда не покидают компании, которым они принадлежат — узлы в сети — и модели доставляются узлам для использования. «Они заботятся о своих внутренних программах и используют их так, как им необходимо», — добавил он.

Одним из существенных преимуществ федеративного подхода является то, что модели не отдают предпочтение хорошо охарактеризованным общедоступным данным. Вместо этого они обучаются на более сложных и разнообразных реальных данных.

«Если чему-то и можно научиться в современном мире искусственного интеллекта, так это тому, что нельзя просто смоделировать проблему с данными», — сказал он.

Прието призвал аудиторию и своих коллег по дискуссии признать, что федеративное обучение — это не готовое решение, которое можно просто подключить и использовать. По его словам, сети требуют инженерной точности. «У каждой из этих компаний свои сетевые ограничения. У них свои правила брандмауэра. У них свое окно вычислений, которое им приходится согласовывать с поставщиками облачных услуг, чтобы гарантировать своевременное предоставление вычислительных ресурсов. У всех них свои собственные процессы утверждения».

Преимущество тонкой настройки

Прието доказывает необходимость тонкой настройки федеративных моделей для достижения наилучших результатов — лучших, чем у моделей, настроенных только на основе внутренних данных; лучших, чем у одних только федеративных моделей. «Реальность такова, что федеративные сети не знают всех ваших целей, верно? Они не знают самых последних данных, с которыми вы работаете, конкретных данных программы. Этот пробел можно восполнить с помощью тонкой настройки», — сказал он. Тонкая настройка на основе локальных данных программы — это то, что преобразует производительность модели в влияние на программу разработки лекарств, добавил он.

В заключение было подчеркнуто, что федерация — это постоянно развивающаяся возможность, а не разовый проект. «Не следует рассматривать это как нечто единое целое, а скорее как повторяемую операционную модель, которая благодаря развертываниям и механизмам управления может продолжать функционировать в ваших внутренних операциях».

В качестве примера Прието привел компанию SandboxAQ, отделившуюся от Google в 2022 году и специализирующуюся на создании крупных количественных моделей для научных открытий. По словам Армана Зарибафияна, доктора философии, руководителя отдела стратегических альянсов в области моделирования ИИ в SandboxAQ, набор моделей SandboxAQ обучается не на основе текстов в интернете, а на основе физики, химии и биологии. Он добавил, что эти модели используются более чем в 20 исследовательских программах крупных фармацевтических компаний.

По словам Зарибафияна, одним из ключевых отличий является умение SandboxAQ максимально эффективно использовать вычислительные ресурсы графического процессора, и недавно компания выпустила несколько моделей в сотрудничестве с NVIDIA.

«Сейчас наблюдается взрывной рост числа моделей, — сказал Зарибафиян, — которые отлично подходят для сравнительного анализа и публикации результатов, но не способны к обобщению на реальные задачи разработки лекарств». Здесь Зарибафиян также подчеркнул важность тонкой настройки. «Даже небольшая тонкая настройка может существенно изменить точность прогнозирования этих моделей, когда мы рассматриваем рабочий процесс, специфичный для конкретного проекта», — сказал он. «Я думаю, что в ближайшие несколько лет мы будем видеть все больше и больше таких федеративных платформ, используемых как для объединения данных, так и для тонкой настройки этих моделей на данных, специфичных для конкретных проектов».

В ходе мероприятия Зарибафиян объявил о сотрудничестве SandboxAQ с Claude, благодаря которому крупные количественные модели из Sandbox можно будет управлять через интерфейс Claude, основанный на реальном мире.

Ракурс устойчивого развития

В заключение Кристина Тейлор, доктор философии, старший научный сотрудник и руководитель направления вычислительного молекулярного дизайна в компании Bayer, рассказала о том, как Bayer использует фундаментальные модели для принятия решений как в области растениеводства, так и в фармацевтике.

Тейлор также является членом исполнительной команды OpenFold, и она подчеркнула важность консорциума и других инициатив, инициированных сообществом, для стимулирования инноваций на доконкурентной основе. «Обмен некоторыми из этих базовых архитектур позволяет всем продвигать биомолекулярный ИИ и действительно способствовал очень быстрому прогрессу, который мы наблюдаем в этой области за последние несколько лет», — сказала она. Она также подчеркнула устойчивость совместной разработки базовых моделей, чтобы каждая исследовательская группа не тратила собственные ресурсы на обучение.

По словам сотрудницы Bayer, компания также уделяет большое внимание тонкой настройке. «Мы довольно регулярно используем [тонкую настройку] для улучшения разработки биомолекулярных фармацевтических препаратов, а также некоторых наших характеристик в области растениеводства, таких как устойчивость к гербицидам, защита от насекомых и т. д.», — сказала она.

Препятствия на пути внедрения: технические, организационные и юридические.

В ходе сессии вопросов и ответов после индивидуальных презентаций участники дискуссии обсудили опасения сообщества по поводу факторов, сдерживающих развитие федеративного обучения. Прието разделил проблемы на три основные категории: технические (инфраструктура и подготовка данных), организационные (культура не всегда ориентирована на сотрудничество) и юридические/договорные (федеративное обучение вводит новые структуры сотрудничества, к которым юридические отделы все еще адаптируются). Он выразил оптимизм по поводу того, что прогресс достигается по всем трем направлениям.

На первом плане стояли технические вопросы. Один из вопросов из зала поднял вопрос о риске «взлома» моделей LLM с целью воспроизведения обучающих данных. Прието объяснил, что Apheris проводит тщательное моделирование угроз перед выпуском любой модели — активно пытаясь осуществить обратное проектирование и атаки с использованием вывода принадлежности, чтобы убедиться, что данные не могут быть извлечены из обученных моделей. Гилберт добавил, что Lilly сотрудничает с Rhino Health, компанией с более чем десятилетним опытом работы в области федеративных вычислений во многих отраслях, и проводит собственный анализ безопасности, учитывая конфиденциальность собственных данных Lilly, которые хранятся более 20 лет.

Что касается типов данных, наиболее подходящих для среды федеративного обучения, Аль-Курайши выделил структурные и связывающие данные как перспективных кандидатов, учитывая обширность химического пространства и естественную выгоду от объединения разнообразных исследований, проводимых различными компаниями. Он провел различие между режимом «обобщения», при котором любые дополнительные данные улучшают физическое понимание модели, и режимом «запоминания», где преимущества являются специфичными для конкретной цели. Гилберт подчеркнул качество данных и стандартизацию метаданных, отметив, что TuneLab компании Lilly фактически предоставляет бонусы за вклад в данные, сгенерированные в рамках стандартизированных протоколов. Он также указал на моделирование фармакокинетики и токсикологии in vivo как на область, где федеративное обучение может произвести революцию: эти наборы данных редки, дороги и редко публикуются, однако прогнозирование свойств ADMET на поздних стадиях разработки имеет критически важное значение.

Организационные проблемы, пожалуй, самые давние. Гилберт отметил историческую обеспокоенность по поводу предоставления доступа к конфиденциальным данным даже моделям, обеспечивающим конфиденциальность, но утверждал, что научные достижения в повышении производительности моделей повысили уровень уверенности. Зарибафиян утверждал, что цена отказа от участия в системах федеративного обучения выше, чем риск участия, поскольку качество данных является основой любого реального процесса разработки лекарств. Прието добавил, что хорошо разработанные сети федеративного обучения включают четкие механизмы внесения вклада и стимулирования — анализ разнообразия и новизны данных, предоставляемых каждой стороной, — чтобы гарантировать, что участники получают значимую ценность, соразмерную их вкладу. Доверие, подчеркнул он, строится не только на доброй воле, но и на правовых, договорных и процессных механизмах.

Наконец, затронув юридические, договорные и финансовые вопросы, Аль-Курайши отметил, что, хотя и наблюдается некоторый интерес к государственному финансированию (как это видно на примере OpenFold и OpenBind), инфраструктура финансирования в США плохо подходит для инженерно-технического и вычислительно сложного характера современной работы по разработке лекарств с использованием ИИ. Он указал на Трансатлантическую инициативу как на один из первых благотворительных источников, признавших ценность программной инфраструктуры, но предположил, что более широкой экосистеме еще предстоит пройти долгий путь.

Источник: www.bio-itworld.com