Замена одной модели искусственного интеллекта в засекреченной сети на другую занимает считанные минуты. Переподготовка людей, которые научились полагаться на ит, займет гораздо больше времени
Пентагон ввел режим работы Anthropic. В четверг Министерство обороны официально уведомило компанию о том, что это было признано «риском для цепочки поставок» — ярлыком, который превратил ее системы искусственного интеллекта, включая флагманскую модель Claude, в проблему.
Этот шаг обостряет спор, который назревал в течение нескольких недель, по поводу принципа Anthropic «безопасность превыше всего» — ее стремления ограничить использование своих технологий — и Министерства обороны&спрос на неограниченный контроль.
Пентагон в течение шести месяцев прекращает использование Claude, одной из самых передовых моделей искусственного интеллекта в мире, в своих засекреченных сетях. На бумаге замена одной модели на другую кажется быстрой. «Заменить модели и установить новые просто», — сообщил источник, близкий к Palantir — гиганту оборонных технологий, который сотрудничает с Anthropic для размещения Claude в защищенных военных сетях.
О поддержке научной журналистики
Если вам понравилась эта статья, подумайте о том, чтобы поддержать нашу журналистику, отмеченную наградами, подписавшись на нее. Приобретая подписку, вы помогаете обеспечить будущее впечатляющих историй об открытиях и идеях, формирующих наш современный мир.
Самое сложное начинается после того, как модель исчезает, — это перестройка всего, что было построено вокруг нее.
Claude — это так называемая пограничная модель, искусственный интеллект, способный самостоятельно выполнять сложные, многоступенчатые задачи. Министерство обороны в настоящее время использует его не так. Лорен Кан, исследователь из Центра безопасности и новейших технологий Джорджтаунского университета и бывший сотрудник Пентагона, описывает его использование скорее как чат-бота, чем агента, который может свободно перемещаться. По ее словам, Клод работает «на вершине» существующего программного обеспечения и появляется только в определенных местах — строго контролируемых уголках секретной среды. И он не связан с «эффекторами», — говорит она, что означает, что он не может «запускать эффект» — например, команду оружия — в реальном мире.»
В конце 2024 года Anthropic стала первой компанией в области искусственного интеллекта, которая преодолела секретные барьеры Пентагона. До недавнего времени Claude была единственной известной широкой публике языковой моделью, работающей в этой среде. Доступ к системе осуществляется с помощью таких инструментов, как Claude Gov — которые, по данным Bloomberg, стали предпочтительным вариантом для некоторых сотрудников министерства обороны — система подключается к огромным потокам данных, чтобы превратить поток неструктурированной информации в удобочитаемые разведданные. Другими словами, Клод обобщает информацию для Министерства обороны, но это не может нажать на спусковой крючок.
Как только люди начинают полагаться на какой-либо инструмент, бывает трудно отказаться от него. Каждая интеграция должна осуществляться постепенно. И тот, кто заменит Claude, должен пройти строгий контроль безопасности и получить одобрение, прежде чем он коснется секретной системы. Изменения программного обеспечения внутри Пентагона могут быть «мучительными», — говорит Кан. Даже такая простая вещь, как установка Microsoft Office, занимает месяцы, и не один месяц, и не два.»
На момент публикации Anthropic не ответила на многочисленные запросы о комментариях от Scientific American..Министерство обороны отказалось обсуждать особенности перехода.
Отучающий Клод
Каждая модель искусственного интеллекта дает сбой по-своему характерным образом. Операторы, которые потратили месяцы на использование Claude, изучают эти особенности методом проб и ошибок: какие подсказки работают плохо, какие результаты требуют повторного изучения.
Кан изучает предвзятость автоматизации, склонность операторов-людей переоценивать свои возможности перед машинами. «Я беспокоюсь о несколько повышенном риске предвзятости автоматизации на ранних стадиях, когда они «прорабатывают проблемы», — говорит она. Сотрудники будут проверять, нет ли ошибок у Claude, в то время как сменная модель будет создавать новые. Персонал, наиболее подверженный переходу, будет опытными пользователями, которые разработали наиболее индивидуальные рабочие процессы и изучили недостатки модели достаточно хорошо, чтобы использовать ее сильные стороны.
В то время как персонал Пентагона готовится к оперативному переходу, на всеобщее обозрение выплыли запутанные подробности политического противостояния. Поздно вечером в четверг генеральный директор Anthropic Дарио Амодей опубликовал сообщение в блоге, в котором пообещал оспорить в суде определение правительства «риск для цепочки поставок», утверждая, что закон, как правило, предназначен для иностранных противников. За кулисами противостояние, похоже, переросло в игру в прятки. Эмиль Майкл, представитель Пентагона, который руководил переговорами департамента с Anthropic, написал на X, что переговоры с компанией прекратились. И Amodei, как сообщается, прилагает все усилия, чтобы реанимировать их.
Тем временем Министерство обороны уже движется дальше. Через несколько часов после официального внесения Anthropic в черный список OpenAI объявила, что подписала соглашение о размещении своих моделей в засекреченных военных сетях, обеспечив контракт, который ее конкурент только что потерял.
Компания Anthropic была готова пойти на риск увольнения из правительства США, но не поступиться своим принципом «безопасность превыше всего». Его замена изначально соответствовала требованию Пентагона о неограниченной оперативной гибкости — только для того, чтобы поспешно добавить те самые ограждения для наблюдения, за которые ратовал Anthropic, после того как генеральный директор OpenAI Сэм Альтман столкнулся с массированной внутренней и общественной реакцией. В конце концов, обмен может оказаться не таким уж простым делом.
