Эксперты утверждают, что успех Kimi K3 не был обусловлен эксплуатацией фильма «Fable» от Anthropic.

Научный советник Белого дома Майкл Крациос заявил, что китайская компания Moonshot, создавшая Kimi K3, самый большой из доступных беззеркальных лазеров с большой массой, разработала свою модель, скопировав лазерный лазер Fable от Anthropic, но используя чипы, не разрешенные для экспорта в Китай.

«Масштабная, тайная промышленная дистилляция, направленная на кражу запатентованных американских технологий и подрыв американских исследований, неприемлема», — написал Крациос на фоне сообщений о дискуссиях о запрете китайских моделей с открытым весом, которые потрясли сектор искусственного интеллекта. Компания Moonshot не ответила на вопросы о процессе обучения, а Крациос не предоставил более подробной информации об источниках своих обвинений.

Твит Крациоса перекликается с комментариями министра финансов Скотта Бессента о том, что «мы обнаруживаем водяные знаки наших американских моделей языков программирования на многих китайских моделях, и это неприемлемо». Неясно, что представляют собой эти водяные знаки, и Министерство финансов не ответило на запрос.

Однако эксперты скептически относятся к тому, что дистилляция — процесс исследования LLM для определения его внутренних механизмов и копирования его возможностей — является причиной расширенных возможностей, демонстрируемых Kimi K3.

«Я не думаю, что можно получить настолько сильную модель так быстро после того, как Fable провела исключительно дистилляцию данных», — сказал TechCrunch Брэден Хэнкок, исследователь из Института Лауде и соучредитель Snorkel AI. «Просто нет времени, честно говоря, ведь Fable стала общедоступной только 1 июля. Невозможно обработать такое количество данных, обучить модель и выпустить ее за две недели».

«Я придерживаюсь мнения, что эффективность дистилляции со временем снижается, поскольку китайские модели приближаются к пределу своих возможностей, а режим обучения смещается в сторону [обучения с подкреплением]», — заявил Натан Ламберт, исследователь ИИ из Института искусственного интеллекта имени Аллена, в подкасте, выпущенном вчера. «Если бы это было так, каждый мог бы легко догнать GLM или K3, используя их данные для дистилляции. Но мы этого не сделали и не увидим, используя только контролируемую тонкую настройку».

Для проведения процесса дистилляции лаборатории необходимо систематически запрашивать у целевой модели данные, которые можно использовать для последующего обучения. Иногда это включает в себя просьбу к модели сформулировать цепочку рассуждений, чтобы понять, как она решает задачи. В других случаях подсказки и ответы от модели используются для обучения новой модели в процессе, называемом контролируемой тонкой настройкой (SFT).

Именно этот процесс тонкой настройки может привести к тому, что модель, якобы созданная третьей стороной, будет выдавать себя за Клода. По мнению Ламберта, именно на этапе тонкой настройки «модель приобретает свои манеры».

Однако Ламберт утверждает, что преимущества SFT становятся менее значимыми по мере усложнения моделей. Для того чтобы выделить возможности, подобные Fable, вероятно, потребуются методы обучения с подкреплением. Во многих случаях это означает, что агент более крупной модели оценивает ответы меньшей модели и корректирует их в зависимости от оценки.

Более продвинутые методы также требуют более значительной инфраструктуры. Для масштабных вычислений с подкреплением могут потребоваться десятки миллионов агентов. Использование API передовой лаборатории для этого «было бы невероятно дорого и потенциально могло бы стать узким местом по времени, поскольку эти модели довольно медленные и, честно говоря, могут даже не дать повышения производительности».

По всей видимости, предыдущие модели, разработанные в рамках передовых разработок, могли внести свой вклад в Kimi; ранее в этом году Anthropic публично обвинила Moonshot, DeepSeek и MiniMax в систематическом извлечении данных из своих моделей. Anthropic заявила, что обнаружила миллионы обменов данными между своими моделями и пользователями, идентифицированными в этих компаниях по IP-адресам и другим метаданным. Эти запросы «отличались от обычных моделей использования, отражая преднамеренное извлечение возможностей, а не законное использование». Anthropic не ответила на запросы TechCrunch по поводу извлечения данных из Fable.

Однако дистилляция считается распространенной практикой среди компаний, занимающихся ИИ, не только в Китае. Ранее в этом году Илон Маск заявил, что его компания SpaceXAI использовала модели OpenAI для разработки Grok, и что эта практика широко распространена в отрасли. Граница между дистилляцией и разработкой синтетических наборов данных, например, может быть довольно размытой.

«В целом, американцы недооценивают техническую компетентность этих китайских команд, — сказал Хэнкок. — Один из основателей Moonshot был аспирантом CMU. Это настоящие исследователи и инженеры, которые проводят качественную работу… Если бы американские модели остановились, я думаю, прогресс Китая замедлился бы, но все равно продолжился бы. Они не просто следуют за другими».

Также сложно отделить суть второй части комментария Крациоса — о том, что Moonshot получила доступ к передовым чипам Nvidia, Grace Blackwell 300, а также к серверам, оснащенным GB300, в Таиланде. Экспорт этих чипов в Китай запрещен, но, по словам Сэма Бресника, научного сотрудника Центра безопасности и новых технологий Джорджтаунского университета, существует черный рынок. В мае основатель американской компании Supermicro, производителя серверов, был обвинен в контрабанде передовых чипов в Китай.

«Я сторонник законов о защите персональных данных для центров обработки данных по всему миру», — сказал Бресник. «Если вы позволяете компании проводить масштабные обучающие сессии на вашем современном оборудовании, должен существовать механизм отчетности, позволяющий узнать, что это за компания и чем она занимается».

Министерство торговли при президенте Джо Байдене предложило ввести федеральные правила «знай своего клиента» для центров обработки данных в 2024 году, но, похоже, при Дональде Трампе дальнейшего прогресса в этом направлении достигнуто не было. Однако экспортеры, поставляющие за границу передовые микросхемы, должны гарантировать, что они используются только в утвержденных целях.

Источник: techcrunch.com