Искусственный интеллект способен создавать токсины, которые не поддаются контролю безопасности.
Команда Microsoft заявила, что использовала искусственный интеллект для обнаружения уязвимости «нулевого дня» в системах биологической безопасности, применяемых для предотвращения неправомерного использования ДНК.
Эти системы скрининга разработаны, чтобы предотвратить покупку генетических последовательностей, которые могут быть использованы для создания смертоносных токсинов или патогенов. Но теперь исследователи под руководством главного научного сотрудника Microsoft Эрика Хорвица утверждают, что нашли способ обойти защиту, ранее неизвестный специалистам по кибербезопасности.
Группа описала свою работу сегодня в журнале Science.
Хорвиц и его команда сосредоточились на генеративных алгоритмах искусственного интеллекта, предлагающих новые формы белков. Подобные программы уже стимулируют поиск новых лекарств в хорошо финансируемых стартапах, таких как Generate Biomedicines и Isomorphic Labs, ответвление Google.
Проблема в том, что такие системы потенциально имеют «двойное назначение». Они могут использовать свои обучающие наборы для генерации как полезных, так и вредных молекул.
Компания Microsoft заявила, что в 2023 году начала «командное» испытание потенциала двойного назначения ИИ, чтобы определить, может ли «конструкция белка враждебного ИИ» помочь биотеррористам производить вредоносные белки.
Защитой, на которую напала Microsoft, стало так называемое программное обеспечение для скрининга биологической безопасности. Для производства белка исследователям обычно необходимо заказать соответствующую последовательность ДНК у коммерческого поставщика, которую затем можно внедрить в клетку. Эти поставщики используют программное обеспечение для скрининга, чтобы сравнивать поступающие заказы с известными токсинами или патогенами. Близкое совпадение активирует оповещение.
Связанная история
Может ли ИИ создать форму жизни? Эти «генеративные» геномы — лишь начало.
Чтобы разработать свою атаку, Microsoft использовала несколько генеративных белковых моделей (включая свою собственную, называемую EvoDiff) для перепроектирования токсинов, изменив их структуру таким образом, чтобы они могли обходить программы скрининга, но при этом, как предполагалось, сохраняли свою смертоносную функцию.
Исследователи утверждают, что эксперимент был полностью цифровым, и никаких токсичных белков не производилось. Это было сделано для того, чтобы избежать подозрений в разработке компанией биологического оружия.
По словам Microsoft, перед публикацией результатов компания уведомила правительство США и производителей программного обеспечения, которые уже исправили ошибки в своих системах, хотя некоторые молекулы, разработанные с помощью ИИ, все еще могут оставаться незамеченными.
«Патч ещё не завершён, и ситуация меняется. Но это не разовое решение. Это начало дальнейших испытаний», — говорит Адам Клор, директор по исследованиям и разработкам в Integrated DNA Technologies, крупном производителе ДНК, который является соавтором отчёта Microsoft. «Мы ввязались в своего рода гонку вооружений».
Чтобы гарантировать, что никто не воспользуется результатами исследования не по назначению, исследователи не раскрывают часть своего кода и не раскрывают, какие токсичные белки они попросили ИИ переработать. Однако некоторые опасные белки хорошо известны, например, рицин — яд, содержащийся в семенах клещевины, — и инфекционные прионы, вызывающие коровье бешенство.
«Это открытие в сочетании с быстрым прогрессом в области биологического моделирования с использованием ИИ демонстрирует очевидную и насущную необходимость в усовершенствованных процедурах скрининга синтеза нуклеиновых кислот в сочетании с надежным механизмом обеспечения соблюдения и проверки», — говорит Дин Болл, научный сотрудник Фонда американских инноваций, аналитического центра в Сан-Франциско.
Болл отмечает, что правительство США уже считает проверку ДНК-запросов ключевым элементом безопасности. В мае прошлого года в указе о безопасности биологических исследований президент Трамп призвал к полной реформе этой системы, хотя Белый дом пока не опубликовал новых рекомендаций.
Другие сомневаются, что коммерческий синтез ДНК — лучшая защита от злоумышленников. Майкл Коэн, исследователь безопасности ИИ из Калифорнийского университета в Беркли, считает, что всегда найдутся способы скрыть последовательности, и что Microsoft могла бы ужесточить свои тесты.
«Вызов кажется слабым, а их залатанные инструменты часто дают сбои», — говорит Коэн. «Похоже, они не желают признать, что вскоре нам придётся отступить из этой предполагаемой контрольной точки, поэтому нам следует начать искать территорию, которую мы действительно сможем удержать».
Коэн считает, что биологическая безопасность, вероятно, должна быть встроена в сами системы ИИ — либо напрямую, либо посредством контроля над тем, какую информацию они предоставляют.
Но Клор утверждает, что мониторинг синтеза генов по-прежнему остаётся практичным подходом к обнаружению биологических угроз, поскольку производство ДНК в США сосредоточено в руках нескольких компаний, тесно сотрудничающих с правительством. В отличие от этого, технология, используемая для создания и обучения моделей ИИ, более распространена. «Этого джинна обратно в бутылку не загонишь», — говорит Клор. «Если у вас есть ресурсы, чтобы попытаться обманом заставить нас создать последовательность ДНК, вы, вероятно, сможете обучить большую языковую модель».
Источник: www.technologyreview.com
