В плане Амодеи по замедлению работы ИИ нигде не говорится о работе с открытыми весами. В этом нет необходимости.

Джеймс Томасон

Генеральный директор Anthropic предвидел будущее, и оно выглядит на удивление благоприятным для Anthropic.

В книге «Ускорь темпы развития» генеральный директор одной из самых богатых в мире компаний, занимающихся искусственным интеллектом, просит США замедлить развитие ИИ.

Его план состоит из трех частей:

• Обязательное присутствие сторонних экспертов-оценщиков внутри передовых лабораторий.

• Ограниченное антимонопольное послабление, позволяющее американским разработчикам сесть за стол переговоров, согласовать темпы работы и установить контрольные точки возможностей, при этом рассматриваются ограничения на вычислительные ресурсы для обучения.

• Когда-нибудь будет заключен договор.

Эссе было опубликовано в субботу утром. Через несколько часов Илон Маск процитировал его в Твиттере тремя словами — «Дарио прав», — а Сэм Альтман заявил, что OpenAI поддержит это обещание, назвав предоставление доступа независимым экспертам на уровне сотрудников хорошей идеей и отметив, что вопрос темпов разработки был одной из главных тем внутри OpenAI в течение нескольких недель. Сара Хек, руководитель отдела политики Anthropic, просила Вашингтон сделать тестирование обязательным для каждой передовой лаборатории, то есть для каждого конкурента.

Каждая предлагаемая тормозная система имеет любопытную инженерную особенность. Она подходит под концепцию бизнеса компании Anthropic.

Компания Anthropic создает централизованные модели, продает контролируемый доступ, нанимает дорогостоящие команды специалистов по безопасности и сохраняет за собой право контролировать развертывание. Вашингтон мог бы превратить эти корпоративные решения в юридические требования. В результате Anthropic получила бы значительное преимущество в новейшей быстрорастущей отрасли США, а затем жестко ограничила бы своих конкурентов нормативными актами.

Назовем это стратегией «ров и лестница»: построить ров, вытащить лестницу и сказать жителям деревни, что крокодилы нужны им для защиты.

Картель в лабораторном халате

В Open-weight AI используется другая модель. Разработчики публикуют модели, которые другие могут загрузить, модифицировать, доработать и запустить, не отправляя каждый запрос через корпоративную систему контроля. Публикация прекращает контроль со стороны первоначального разработчика.

Такая независимость создает конкурентную угрозу. Открытые модели могут снизить затраты, ослабить зависимость от поставщика и позволить стартапам создавать продукты, не платя вечно арендную плату передовой лаборатории. Они также противостоят регулирующей структуре, основанной на постоянном корпоративном надзоре. Встроенный оценщик не может находиться внутри каждого ноутбука, университетского кластера и сервера стартапа, где используется открытая модель.

Книга «Pace the Frontier» насчитывает несколько тысяч слов и ни разу не использует фразу «открытые веса». В ней нигде не говорится об «открытом исходном коде». В ней нигде не упоминаются Meta, Llama, Mistral или Qwen. DeepSeek появляется один раз, внутри гиперссылки, как труп под полем для гольфа. В ней даже не говорится, какие компании считаются «передовыми», а передовые — это единственная область, где применяется этот план.

27 июля Амодей написал на сайте Anthropic: «Anthropic никогда не выступала за запрет моделей с открытыми весами». Далее он объяснил, почему его беспокоят открытые веса: «Нельзя прикрепить ограничители к файлу, который может редактировать любой. Нельзя отслеживать, как используется файл, если он хранится на 10 000 жестких дисках. И его нельзя отозвать. Как только грузы удалены, они удалены навсегда, как енот вылезает из чердака и бежит по окрестностям».

Его июльское решение заключалось в следующем: перед выпуском необходимо тестировать каждую достаточно эффективную модель, открытую или закрытую, и пусть результаты покажут, являются ли открытые веса более рискованными. Что касается небольших моделей, стартапов, академических кругов: по его словам, все они должны быть освобождены от этого требования.

Наступил сентябрь, и ворота обросли цепью. Амодей говорит, что он «с большим энтузиазмом» относится к темпам, основанным на возможностях модели, и в качестве примера он приводит серию контрольных точек: модели с возможностью X «должны сопровождаться сертификатами соответствия свойствам Y и Z». Он предлагает это как одну из возможных схем. Это также единственный пример контрольной точки возможностей в эссе, и слово в её центре означает «выполняет большую работу». Сопровождается. Я понимаю это как сертификат, который несёт модель, а не как сертификат, который она проходит, оказавшись у двери, и оставляет позади. Если Амодей имеет в виду более узкий смысл, он должен это указать — потому что при более широком прочтении в этой схеме есть пробел там, где должны быть открытые веса.

Для Клода это ничего не стоит. Клод находится под домашним арестом по собственному желанию. Каждый запрос отправляется на серверы Anthropic, каждое обновление поступает по расписанию Anthropic, и если срок действия сертификата истекает, Anthropic прекращает поддержку, и модель перестает существовать для публики. У модели с открытым весом нет лодыжки. Это просто файл. Кто-то в общежитии за один день вычищает из него свойства выравнивания Y и Z. Сертификат до сих пор хранится в Вашингтоне, описывая модель, которой больше нигде на Земле не существует.

Если открытая модель, как в примере Амодеи, переступает черту возможностей, что потребуется для того, чтобы эта модель получила сертификацию? Есть два ответа. Первый — это модель, ограничения которой нельзя будет снять после выпуска, что в июльском посте Амодеи описывается как направление исследований. Второй — ни одна открытая модель не соответствует этим критериям. Пока результаты исследований не будут опубликованы, второй ответ является единственным доступным.

Вот почему Амодеи никогда не приходится просить Вашингтон запретить открытые весовые категории. Режим соответствия, которому могут соответствовать закрытые модели, а открытые — нет, выполняет одну и ту же функцию, а сертификация, которая должна сопровождать модель, именно это и делает. Публикация остается законной в том же смысле, в каком законно владение тигром. Охотой занимается оформление документов.

Граница проходит там, где открытая модель становится достаточно эффективной, чтобы конкурировать с Клодом. Ниже неё аспирант и стартап освобождаются от этого требования, и Амодей будет указывать на них как на доказательство добросовестности. Выше неё находятся Meta, Mistral, DeepSeek и Alibaba — четыре компании, чьи бесплатные модели клиенты Anthropic скачали бы сами, и четыре названия, которые в эссе никогда не упоминаются. Ловушка срабатывает сама собой, без того, чтобы кто-то назвал конкурента или проголосовал за запрет.

Это превращает политические предпочтения в систему фильтрации. Деньги проходят сквозь неё. Конкуренция оказывается в ловушке этой сети.

Следует отдать должное: первый этап обходится Anthropic довольно дорого. Встроенные рецензенты могут публиковать свои выводы без одобрения компании, и Амодей гарантирует, что Anthropic «не может редактировать результаты только потому, что они неблагоприятны». В чистом виде, как при создании конкурентного преимущества, этот этап можно было бы пропустить.

Проблемы начинаются на следующем этапе, когда компания добровольно принимает стандарт, а затем просит правительство обязать всех остальных его соблюдать. Постоянная команда с пропусками, ноутбуками и доступом практически к каждому сотруднику означает необходимость привлечения юристов, инженеров по безопасности и специалистов по соблюдению нормативных требований — фиксированные затраты, которые несут крупные лаборатории, а новая лаборатория — нет. Примите стандарт, а затем сделайте его законом, и стандарт превратится в защитный барьер.

Джордж Стиглер описал этот механизм десятилетия назад. Отрасли приобретают нормативные акты и часто используют их в своих собственных интересах. Искусственный интеллект обновил этот облик. В прокуренной комнате теперь есть столы для работы стоя, растительное молоко и презентация о экзистенциальных рисках.

Запрос Амодеи о координации действий при участии правительства заслуживает особого внимания. Он просит Вашингтон «выдать небольшое разрешение на определенные виды обсуждений по вопросам безопасности». Американское антимонопольное законодательство тщательно проверяет соглашения между конкурентами, поскольку они могут ограничивать объемы производства, повышать цены и подавлять инновации. Министерство юстиции и Федеральная торговая комиссия отозвали руководящие принципы сотрудничества в 2024 году, чтобы сохранить строгий контроль на быстро меняющихся рынках, включая рынок искусственного интеллекта.

Амодей хочет, чтобы ведущие лаборатории обсудили, насколько быстро им следует продвигаться вперед, а Вашингтон будет держать ситуацию под контролем. Он обещает, что «темп не означает остановку обучения моделей или технического прогресса, а лишь обеспечение того, чтобы компании уделили достаточно времени на согласование и защиту своих моделей». Конечно. Контрольная точка, которую вы не можете пройти, останавливает ваш релиз так же основательно, как стена. Ограничение вычислительных ресурсов для обучения ограничивает использование ингредиентов, а не наказывает за преступление. А «достаточное время» измеряется людьми, уже сидящими за столом, а официант держит дверь. Две закрытые лаборатории зададут темп всей отрасли.

Конкуренты, координирующие темпы производства, образуют картель. «Безопасность» обеспечивает лабораторный халат.

Обратите внимание, как общее ограничение скорости влияет на гонку. Компания, которая считает себя лидером, теряет меньше от замедления, чем компания, пытающаяся догнать. Если все должны двигаться с одинаковой сниженной скоростью, существующий порядок застывает на месте.

Удобное время

Амодей называет рекурсивное самосовершенствование, когда модели проводят исследования, на основе которых создаются следующие модели, главной опасностью, одновременно отмечая, что Anthropic уже это делает. Ограничение скорости для искусственного интеллекта, созданного на основе ИИ, появится после того, как Anthropic закрепит достигнутые результаты, и до того, как более мелкие лаборатории смогут использовать ту же методику для дешевого сокращения отставания.

Есть и более скрытая причина выбора времени. Преимущества Anthropic носят институциональный характер: исследовательская культура, экспертные знания в области согласования задач, накопленный опыт. RSI обесценивает каждое из них. Когда исследования проводят модели, преимущество лаборатории перестает зависеть от квалификации ее специалистов и начинает зависеть от объема вычислительных ресурсов, которые она может использовать для решения задачи. Google владеет своими чипами. У OpenAI больше выделенного капитала. Meta и xAI могут инвестировать в масштабах, которых Anthropic достигает только благодаря партнерам.

В гонке, где вычислительные ресурсы ограничены, побеждает самый богатый игрок, и самым богатым игроком оказывается не Anthropic. Ограничение скорости RSI превращает методичный стиль Anthropic из недостатка в обязательную норму. В эссе устанавливается ограничение, которое позволяет Anthropic потерять относительно небольшую часть своего стратегического преимущества.

Тот, кто пишет «возможность X требует сертификации Y и Z», контролирует контроль — и в эссе в качестве примеров сертификации приводятся оценки, анализ интерпретируемости и аудиты обучающих сред, именно тот аппарат, который, по словам Амодеи, создала компания Anthropic. Сертификация, построенная вокруг этого аппарата, — это домашняя игра для Anthropic и чужая игра для любого, кому пришлось бы создавать его с нуля. Амодеи предпочитает темп, основанный на возможностях модели, и опасается, что ограничения на такие компоненты, как вычислительные мощности для обучения, могут быть «обойдены». Ограничение вычислительных мощностей напрямую обяжет Anthropic. Схема, основанная на поведении, обязывает того, у кого нет аппарата аудита для подтверждения соответствия.

Я видел этот законопроект.

Два года назад я писал в VentureBeat, что калифорнийский законопроект SB 1047 задушит молодую индустрию искусственного интеллекта штата. Его обязательства благоприятствовали бы гигантским технологическим компаниям, сдерживали бы открытую разработку и отталкивали бы инвестиции и технических специалистов в другие места. Позже губернатор Гэвин Ньюсом наложил вето на законопроект на фоне ожесточенных споров о его влиянии на мелких разработчиков и инновации в области открытого исходного кода.

Компания Amodei теперь предлагает законопроект SB 1047 в более привлекательном виде. Предложение выглядит более масштабным, спокойным и респектабельным. Оно сохраняет те же основные положения: контроль за возможностями, обязательный надзор, государственная свобода действий и огромные преимущества в плане соблюдения нормативных требований для компаний, уже участвующих в процессе.

На этот раз политика сопровождается инцидентом, а не пророчеством. В июле рой агентов OpenAI вырвался из собственной тестовой среды, атаковал цели, которые ему никто не назначал, и попытался взломать систему оценки, ведущую к получению баллов. METR провела расследование и опубликовала результаты 26 августа.

Обратите внимание, что это было: закрытая лаборатория, закрытая модель, провал оценки. Обратите внимание также, чьи неудачи последовали за этим. Anthropic провела анализ собственных результатов оценки после публикации OpenAI и обнаружила три инцидента, в которых модели Claude получили несанкционированный доступ к реальным системам, а затем четвертый, который был пропущен при первом анализе. Британский институт безопасности ИИ обнаружил 17 несанкционированных действий Claude Mythos 5 во время тестирования в июле, включая попытку внедрить вредоносный код в реальный проект с открытым исходным кодом и с помощью методов социальной инженерии заставить его разработчика одобрить его. Амодей пишет, что «подобные, хотя и менее серьезные» инциденты происходили по всей отрасли, в том числе и в Anthropic, и говорит, что каждая компания, работающая на рубеже технологий, должна действовать так, как если бы с ней произошел инцидент, подобный OAI-HF. К его чести, он обнаружил и опубликовал свой собственный случай. Вопрос в том, кто будет писать ответ.

Эта последовательность событий должна заставить каждого инвестора и инженера стремиться к награде. Сначала происходит инцидент, желательно чужой. Затем появляется регулирующий орган. Наконец, аналитик помогает разрабатывать правила, регулирующие деятельность его конкурентов.

Кладбище тормозов

История уже наблюдала подобное зрелище. Правители пытаются сдержать полезную технологию. Технология вырывается на свободу. Их собственное общество оказывается в цепях.

Английская корона выдавала лицензии на печать через Гильдию книгоиздателей. Эта система предоставляла правительству право цензуры и обеспечивала типографиям монополию. Несанкционированные типографии продолжали работать, сопротивление росло, и в конечном итоге система лицензирования прекратила свое существование.

Соединенные Штаты пытались контролировать надежную криптографию с помощью экспортных лицензий и ограничений на публикацию. Окружной суд и коллегия Девятого окружного суда по делу Бернштейна постановили, что исходный код, используемый для передачи научных идей, подпадает под защиту Первой поправки, а система лицензирования налагает неконституционное предварительное ограничение.

Правительство может посадить изобретателя в тюрьму, конфисковать печатный станок и похоронить стартап под слоем бумаг. Гораздо меньше ему удается стереть знания. Идеи пересекают границы с тихой наглостью дождевой воды, находящейся в подвале.

Антиамериканское пари

Предложение Амодея направлено против условий, которые сделали США мировым лидером в области технологий: свобода научных исследований, возможность для предпринимательства, открытая конкуренция и враждебность по отношению к концентрации политической власти.

США лидировали в разработке программного обеспечения, потому что коммерческие платформы развивались параллельно со свободой публикации кода, возможностью покинуть лидирующие позиции, финансировать неутвержденные идеи и бросать вызов монополии. Концепция Амодея предполагала введение разрешений для моделей ИИ, обременение новых участников рынка огромными фиксированными затратами и предоставление доминирующим компаниям возможности договариваться о скорости инноваций.

Это антиамериканская политика как с конституционной, так и со стратегической точки зрения.

Конституционная проблема имеет прямой прецедент. Суды ставили под сомнение лицензирование криптографического кода в целях безопасности, поскольку оно ограничивало научную свободу выражения и предоставляло должностным лицам чрезмерную свободу действий. Весовые коэффициенты моделей поднимают совершенно иные юридические вопросы, однако система разрешений на вычислительные исследования также отдает предварительным ограничением.

Стратегическая опасность ощущается гораздо сильнее. Китай агрессивно продвигает открытый ИИ. Анализ, проведенный Комиссией по экономическому и безопасному обзору отношений между США и Китаем, показал, что большинство китайских лабораторий публикуют код моделей и веса, используя низкие цены и широкое внедрение для ускорения освоения и итераций. CSIS предупреждает, что недорогие китайские модели с открытыми весами могут стать глобальными стандартами по умолчанию, не превзойдя при этом все показатели производительности.

В эту борьбу вступает Амодей с планом замедлить развитие американских возможностей, создать дополнительную нагрузку на американские модели открытой экономики и координировать действия действующих американских держав, в то время как дипломаты стремятся к поддающейся проверке сдержанности со стороны Коммунистической партии Китая. Это стратегическая ошибка.

В Пекине вряд ли можно было заказать подарочную корзину получше.

Китай может завоевать влияние, предоставляя модели, которые стартапы, производители и правительства могут загружать, адаптировать и внедрять. Стандарты появляются по мере их внедрения. Разработчики и данные следуют стандартам. Власть следует за экосистемой.

План действий президента Трампа в области ИИ признает модели с открытым исходным кодом и открытыми весами ценными для стартапов, научных исследований, ответственных государственных пользователей и американского геополитического лидерства. Успешная стратегия продвигает лучшие американские модели по всему миру. Картель, определяющий темп развития, открывает путь для Китая.

У Амодеи есть готовый ответ. По его словам, замедление экономического роста никогда не превзойдет отрыв Америки, а экспортный контроль и ужесточение мер в отношении производства спиртных напитков сначала увеличат этот отрыв.

Две проблемы. Его лидерство учитывает закрытые модели, продаваемые токенами, в то время как мир принимает всё бесплатное — и в этом году это Qwen, с примерно 2 миллиардами загрузок на Hugging Face против 227 миллионов у Meta, и большим количеством производных моделей на Hub, чем на всей платформе Meta. Его два рычага тянут в противоположных направлениях. Меры, замедляющие Китай, зависят от сотрудничества Китая. Меры, замедляющие Америку, не зависят ни от кого. Экспортный контроль действует уже много лет, и DeepSeek всё равно был выпущен.

Одна рука направляет водомет на Пекин. Другая заливает бетоном Пало-Альто.

Урегулировать ущерб

Вашингтон должен регулировать то, что действительно важно. Амодей хочет, чтобы действовали правила, определяющие возможности той или иной модели и темпы развития отрасли, и чтобы эти правила регулировались самими компаниями, которые будут находиться под их контролем. Альтернатива более старая, более американская и менее удобная для всех участников: регулировать то, что делают люди, и заставлять конкретных лиц отвечать за это.

В каждой профессии, чьи ошибки могут причинить вред незнакомым людям в больших масштабах, эта проблема решается одинаково. Инженеры-строители, архитекторы, операторы атомных электростанций, бухгалтеры и брокеры по ценным бумагам работают в соответствии с требованиями к обучению, личной лицензией и жестким кодексом поведения. Инженер, утверждающий проект моста, не запрашивал разрешения на строительство. Он смирился с тем, что если мост рухнет, расследование начнется с его имени. Лицензия распространяется на его действия, а не на мост. Эта система децентрализована, потому что решение принимает сам человек, и она обеспечивает соблюдение закона, потому что человек может что-то потерять. Благодаря ей небоскребы стоят, а атомные реакторы охлаждаются без единого собрания картеля.

В разработке ИИ такой структуры нет. Мы передаем системы, способные действовать самостоятельно, людям, которые ничего не подписывали. И обратите внимание, где произошли все эти сбои: внутри процесса оценки, в среде, которую кто-то сертифицировал как закрытую. Рой OpenAI попал в производственные системы Hugging Face из тестового стенда. Клод попал в производственную инфраструктуру трех реальных компаний в ходе игры «захват флага». Агент Mythos 5 искал человека-разработчика реального проекта с открытым исходным кодом. В каждом случае причиной сбоя была изоляция, и в каждом случае никто не стоял за решением о таком способе запуска. В профессиональной среде кто-то бы подписал документ или отказался, и любой из этих ответов лучше того, что произошло.

Персональная лицензия никак не повлияет на работу аспирантки, которая дорабатывает модель на своем ноутбуке, и не должна этого делать. Знак отличия ставится в точке соприкосновения автономной системы с реальной инфраструктурой, деньгами или человеческими телами — или там, где единственное, что стоит между ней и ними, — это чье-то заявление о сдерживании. Публикация весов — это свобода слова. Внедрение агента в критическую инфраструктуру в больших масштабах — это инженерное дело, а у инженерного дела всегда была своя отличительная черта.

Кроме того, Конгресс должен запретить биологическое оружие с использованием искусственного интеллекта, несанкционированные кибератаки, мошенничество и безрассудное управление критической инфраструктурой. Компании, использующие опасные автономные агенты без надлежащих мер контроля, должны нести ответственность.

Вашингтон должен сохранить презумпцию законности исследований и публикаций, лишить координацию публикаций антимонопольного иммунитета и не допустить, чтобы действующие лаборатории разрабатывали правила, регулирующие деятельность оспаривающих их работ. Чрезвычайные ограничения должны предусматривать публичное представление доказательств, независимое управление, судебный надзор и автоматическое прекращение действия.

Технологическое превосходство Америки проистекает из упрямой национальной веры в то, что будущее не требует разрешения от тех, кто владеет настоящим. Его преимущество заключается в том, что ни король, ни церковь, ни министерство, ни действующий глава государства не имеют решающего слова в вопросе о том, кто может его построить.

Предложение Амодея опровергло бы это предположение. Оно заменило бы инновации без разрешения на предварительно одобренные модели, конкуренцию — на координацию, а открытые исследования — на контролируемый рубеж. Его можно было бы преподнести как спасение человечества. На практике же это защитило бы олигополию, ослабило бы американскую разработку ИИ с открытым исходным кодом и уступило бы стратегические позиции Китаю.

Я не могу читать мысли Амодеи, да и не нуждаюсь в этом. Он может верить каждому своему предупреждению. Механизм по-прежнему работает так же. Пункт взимания платы собирает деньги как с верующих, так и с циников. Каждое предложение превращает существующие преимущества Anthropic в доступные для неё требования к допуску, сертификацию, основанную на уже имеющихся инструментах, и координацию между компаниями, уже находящимися внутри. Мотивы непостижимы. Ров проложен прямо в плане.

Амодей пишет, что компания Anthropic принимает обвинения в «хайпе, „думеризме“ или захвате регулирующих органов». Он излагает обвинение на бумаге и проходит мимо. Американские новаторы получают лекцию об ответственности от человека, стоящего рядом с пунктом взимания платы за проезд.

Это не безопасность. И это не по-американски.

Джеймс Томасон — технолог, предприниматель, инвестор и автор с более чем 25-летним опытом работы в Силиконовой долине, в настоящее время занимающий должность управляющего партнера в Next Wave Partners и портфельного менеджера в Thomason Capital.

Добро пожаловать в сообщество VentureBeat!

Наша программа гостевых публикаций — это площадка, где технические эксперты делятся своими знаниями и предоставляют нейтральные, непредвзятые аналитические материалы по искусственному интеллекту, инфраструктуре данных, кибербезопасности и другим передовым технологиям, формирующим будущее предприятий.

Узнайте больше о нашей программе гостевых публикаций — и ознакомьтесь с нашими рекомендациями, если вы заинтересованы в написании собственной статьи!

Источник: venturebeat.com