Michael Kratsios, директор по технологиям США, заместитель помощника президента США…

Michael Kratsios, директор по технологиям США, заместитель помощника президента США в Управлении по научно-технической политике Белого дома, пишет:

«Мы располагаем информацией о том, что компания Moonshot AI дистиллировала модель Fable от Anthropic для разработки собственной модели Kimi K3.

Для этого они создали сложную внутреннюю платформу для проведения масштабной дистилляции на базе американских моделей, которая позволяла им быстро переключаться между различными методами доступа, чтобы избежать обнаружения. Moonshot AI также приобрела серверы, оснащенные чипами GB300 (прим.: мощные GPU под санкциями), и получила доступ к мощностям GB300 в Таиланде, вероятно, для обучения своих ИИ-моделей.

Соединенные Штаты решительно поддерживают свободное и добросовестное развитие искусственного интеллекта, включая процветающую конкурентную экосистему, которая охватывает передовые модели, специализированные системы, фреймворки с открытым исходным кодом и модели с открытыми весами.

Легальная дистилляция ИИ, используемая для создания более компактных и эффективных моделей, играет важнейшую роль в этой экосистеме открытых инноваций. Однако масштабная, скрытая дистилляция в промышленных масштабах, направленная на кражу проприетарных американских технологий и подрыв научных исследований США, неприемлема».

===

Уже давно придуманы статистические методы маркирования генераций языковых моделей. Они незаметны и не снижают качество, но всегда можно верифицировать, что использовалась такая-то модель для генерации данных для дообучения. Если вдруг окажется, что проверка Kimi K3 выявит это и доказательства неопровержимы, то это будет номер 😳