Самая дорогостоящая ошибка в биотехнологиях, связанная с искусственным интеллектом, — это не галлюцинация, а сбой в процессе.

Комментарий предоставлен Саи Картиком Байрой, bioMerieux.

24 июля 2026 г. | Я много времени провожу, общаясь с учеными, руководителями отделов качества и командами цифровой трансформации в сфере медико-биологических наук. Разговор обычно начинается с энтузиазма: генеративный ИИ может обобщать протоколы, составлять отчеты, осуществлять поиск в базах знаний и ускорять анализ. Но когда речь заходит о регулируемой работе, настроение меняется. Внезапно фокус смещается на галлюцинации, точность моделей и вопрос о том, можно ли доверять ИИ. Это обоснованные опасения. Но я думаю, что мы задаем неправильный первый вопрос.

Самые дорогостоящие сбои в работе ИИ в биотехнологической и фармацевтической отраслях вряд ли связаны с моделью, которая придумывает предложения. Скорее всего, они происходят из-за того, что организации рассматривают ИИ как самостоятельный инструмент, а не как контролируемый бизнес-процесс.

Это различие важно, потому что в регулируемых медико-биологических науках десятилетиями создавались системы, обеспечивающие целостность процессов. Мы проверяем программное обеспечение, управляем изменениями, ведем журналы аудита и устанавливаем подотчетность. Искусственный интеллект не снимает с нас эти обязанности. Напротив, он их усиливает.

Реальный риск — это контекст, а не только содержание.

Рассмотрим типичный сценарий. Ученый просит ИИ-помощника составить отчет об отклонении от нормы или обобщить результаты эксперимента. Сгенерированный текст может выглядеть отполированным и технически правдоподобным. Риск заключается не только в том, что факт неверен. Более серьезный риск состоит в том, что результат оторван от контекста, в котором принимаются решения.

Какие источники данных использовались? Были ли они актуальными? Были ли они утверждены? Кто проверял результаты? Могла ли организация восстановить, как рекомендация повлияла на решение, принятое в рамках регулирования, спустя шесть месяцев?

Эти вопросы могут показаться банальными по сравнению с дискуссиями о возможностях больших языковых моделей. Но именно они определяют, сможет ли организация обосновать свое решение во время проверки, расследования или юридического анализа.

Иными словами, проблема заключается не просто в том, что ИИ сгенерировал что-то неверное. Проблема в том, сможет ли организация продемонстрировать, что процесс, осуществляемый с помощью ИИ, оставался контролируемым.

Почему ловушка пилота повторяется снова и снова

Многие организации запускают пилотные проекты в области ИИ вне рамок своих обычных механизмов управления, поскольку технологии быстро развиваются. Команды хотят экспериментировать, а экспериментирование важно. Опасность заключается в том, что временные упрощения часто становятся постоянной практикой.

Пилотный проект, начинающийся как эксперимент по повышению производительности, может незаметно стать частью процесса обеспечения качества, процесса подачи заявок в регулирующие органы или деятельности по анализу клинических данных. После этого организация перестает оценивать инструмент и начинает управлять бизнес-процессом, влияющим на результаты, подлежащие регулированию.

Именно здесь традиционные подходы к разработке программного обеспечения начинают давать сбой. Системы искусственного интеллекта не статичны. Модели меняются. Источники информации меняются. Шаблоны запросов развиваются. Даже похожие запросы могут со временем давать разные результаты. Поэтому управление должно выходить за рамки самого приложения и охватывать весь процесс, осуществляемый с помощью ИИ.

Переход от валидации к обеспечению качества

В медико-биологической отрасли уже начался переход от подходов к валидации, основанных на большом объеме документации, к моделям обеспечения качества, ориентированным на оценку рисков. Искусственный интеллект ускоряет этот сдвиг.

Более полезным вопросом, чем «можем ли мы подтвердить работоспособность ИИ?», является: «Какой уровень доказательств нам необходим, чтобы продемонстрировать, что этот процесс с использованием ИИ по-прежнему пригоден для предполагаемого использования?»

Ответ зависит от уровня риска. Для административных задач с низким уровнем риска доказательства могут быть относительно незначительными. Для процессов, влияющих на качество продукции, безопасность пациентов или отчетность перед регулирующими органами, требования должны быть значительно выше.

Вместо того чтобы пытаться доказать, что система искусственного интеллекта никогда не совершит ошибок, организациям следует разработать процессы, которые выявляют, анализируют и управляют ошибками до того, как они окажут влияние на регулируемые процессы. Это не новая концепция, это принцип обеспечения качества, который отрасль уже понимает.

Как выглядит эффективная система обеспечения качества ИИ

По мере перехода организаций от экспериментов к практическому внедрению, эффективное обеспечение безопасности ИИ все больше зависит не от самой технологии, а от механизмов контроля, окружающих ее.

Ответственность человека должна оставаться явной. Искусственный интеллект может генерировать рекомендации и составлять контент, но ответственность за регулируемые решения не может быть делегирована модели. Ответственность за проверку и утверждение должна нести квалифицированный специалист.

Организации также должны понимать происхождение данных. Команды должны знать, какие источники легли в основу результата, были ли эти источники одобрены и подходят ли они для предполагаемого использования.

Прозрачность также имеет значение. При необходимости организации должны иметь возможность восстановить, как была сформирована рекомендация, сгенерированная ИИ, и как она повлияла на последующее решение.

Наконец, управление изменениями должно распространяться и на компоненты ИИ. Обновления моделей, модификации источников получения данных и пересмотр шаблонов подсказок следует рассматривать как управляемые изменения, а не как невидимые фоновые события.

Искушение автоматизировать процесс принятия решений

Пожалуй, самый важный вопрос управления вовсе не технический, а организационный. Искусственный интеллект исключительно хорошо справляется с генерацией языка, выявлением закономерностей и ускорением рутинного анализа. Эти возможности создают естественное искушение автоматизировать сам процесс принятия решений.

Однако опытные эксперты делают больше, чем просто проверяют факты. Они понимают контекст, неопределенность, риски и последствия. Они распознают, когда результат необычен, когда данные неполны или когда вывод технически верен, но вводит в заблуждение на практике.

Организации, рассматривающие ИИ как замену экспертному контролю, скорее всего, создадут ненадежные процессы. Организации, рассматривающие ИИ как усилитель экспертного контроля, с большей вероятностью создадут устойчивые процессы.

Более уместный вопрос для лидеров

При оценке инициатив в области ИИ, я считаю, руководителям следует задавать другой вопрос: как мы узнаем, что этот процесс останется под контролем после внедрения ИИ?

Этот вопрос переводит разговор с оценки производительности модели на целостность процесса. Он заставляет команды определить подотчетность, мониторинг, управление изменениями и контроль рисков. Организации, которые добьются успеха в использовании ИИ, будут не теми, кто внедрит больше всего моделей, а теми, кто интегрирует ИИ в управляемые, измеримые и подотчетные процессы.

Галлюцинации попадают в заголовки новостей. Сбои в производственных процессах приводят к предупредительным письмам, программам исправления ситуации и критически важным для бизнеса последствиям. В биотехнологической и фармацевтической отраслях именно такими рисками стоит управлять в первую очередь.

Сай Картик Байра , бизнес-аналитик информационных систем в компании bioMerieux, специализируется на электронных системах управления качеством (eQMS), лабораторных системах и управлении корпоративным контентом в регулируемых отраслях. Он внедряет и оптимизирует цифровые платформы качества и исследований и разработок, включая электронные лабораторные журналы (ELN) и TrackWise Digital, поддерживая такие процессы, как корректирующие и предупредительные действия (CAPA), события, связанные с качеством, управление изменениями и управление аудитами. В центре его внимания – использование облачных технологий и решений, основанных на данных, для повышения соответствия нормативным требованиям и операционной эффективности. С ним можно связаться по адресу [email protected]

Источник: www.bio-itworld.com