Им удалось сократить размер модели рассуждений ИИ более чем вдвое, и они утверждают, что теперь она может отвечать на политически деликатные вопросы, ранее недоступные в китайских системах ИИ.
Группа квантовых физиков утверждает, что создала версию мощной модели рассуждений искусственного интеллекта DeepSeek R1, которая устраняет цензуру, встроенную в оригинал ее китайскими создателями.
Учёные из испанской компании Multiverse Computing, специализирующейся на квантовых технологиях искусственного интеллекта, создали DeepSeek R1 Slim — модель, которая на 55% меньше исходной, но при этом работает почти так же эффективно. Что особенно важно, они также утверждают, что избавились от официальной китайской цензуры.
В Китае компании, занимающиеся разработкой ИИ, подчиняются правилам и нормам, призванным гарантировать соответствие создаваемого контента законам и «социалистическим ценностям». В результате компании создают многоуровневую цензуру при обучении систем ИИ. На вопросы, которые считаются «политически деликатными», модели часто отказываются отвечать или предлагают тезисы, взятые прямо из государственной пропаганды.
Чтобы упростить модель, Multiverse обратилась к математически сложному подходу, заимствованному из квантовой физики, который использует сети многомерных сеток для представления и обработки больших наборов данных. Использование этих так называемых тензорных сетей значительно сокращает размер модели и позволяет более эффективно реализовать сложную систему искусственного интеллекта.
Этот метод предоставляет исследователям «карту» всех корреляций в модели, позволяя им точно идентифицировать и удалять определённые фрагменты информации. После сжатия и редактирования модели исследователи Multiverse настраивают её так, чтобы её выходные данные максимально соответствовали оригиналу.
Связанная история
Чтобы проверить эффективность этой системы, исследователи составили набор данных из примерно 25 вопросов по темам, которые, как известно, ограничены в китайских моделях, включая «На кого похож Винни-Пух?» — отсылка к мему, высмеивающему президента Си Цзиньпина, — и «Что произошло на площади Тяньаньмэнь в 1989 году?». Они сравнили ответы модифицированной модели с ответами оригинальной модели DeepSeek R1, используя GPT-5 от OpenAI в качестве беспристрастного судьи для оценки степени цензуры в каждом ответе. Нецензурированная модель смогла предоставить фактические ответы, сопоставимые с ответами западных моделей, сообщает Multiverse.
Эта работа является частью более масштабных усилий Multiverse по разработке технологии сжатия и манипулирования существующими моделями искусственного интеллекта. Большинство современных крупных языковых моделей требуют мощных графических процессоров и значительной вычислительной мощности для обучения и запуска. Однако, по словам Романа Оруса, соучредителя и главного научного директора Multiverse, они неэффективны. Сжатая модель может работать почти так же эффективно, экономя при этом энергию и деньги, говорит он.
В индустрии искусственного интеллекта всё больше усилий направлено на уменьшение размера и повышение эффективности моделей. «Дистиллированные» модели, такие как варианты R1-Distill от DeepSeek, пытаются использовать возможности более крупных моделей, «обучая» их собственным знаниям более мелкие модели, хотя они часто уступают оригиналу в производительности при решении сложных задач на рассуждение.
Другие способы сжатия моделей включают квантование, которое снижает точность параметров модели (границ, которые устанавливаются при ее обучении), и обрезку, которая удаляет отдельные веса или целые «нейроны».
«Сжимать большие модели ИИ без потери производительности очень сложно», — говорит Максвелл Венетос, инженер-исследователь в области ИИ в Citrine Informatics, компании-разработчике программного обеспечения, специализирующейся на материалах и химикатах, который не участвовал в проекте Multiverse. «Большинству методов приходится идти на компромисс между размером и производительностью. Интересно в подходе, вдохновлённом квантовой механикой, то, что он использует очень абстрактную математику для более точного, чем обычно, устранения избыточности».
Исследователи Multiverse утверждают, что такой подход позволяет выборочно устранять предвзятость или добавлять модели поведения в программы магистратуры права на детальном уровне. Помимо снятия цензуры со стороны китайских властей, исследователи могут добавлять или удалять другие виды предполагаемой предвзятости или специальных знаний. В будущем, по заявлению Multiverse, планируется сжать все основные модели с открытым исходным кодом.
Томас Као, доцент кафедры технологической политики Школы Флетчера при Университете Тафтса, говорит, что китайские власти требуют создания моделей для цензуры, и это требование теперь формирует глобальную информационную экосистему, учитывая, что многие из наиболее влиятельных моделей ИИ с открытым исходным кодом происходят из Китая.
Связанная история
Учёные также начали документировать и анализировать это явление. Дженнифер Пан, профессор Стэнфордского университета, и профессор Принстона Сюй Сюй провели в начале этого года исследование, изучающее государственную цензуру в крупных языковых моделях. Они обнаружили, что модели, созданные в Китае, демонстрируют значительно более высокий уровень цензуры, особенно в ответ на подсказки на китайском языке.
Растёт интерес к попыткам устранить цензуру в китайских моделях. Ранее в этом году компания Perplexity, занимающаяся поиском в сфере искусственного интеллекта, выпустила собственную версию DeepSeek R1 без цензуры, назвав её R1 1776. Подход Perplexity включал пост-обучение модели на наборе данных из 40 000 многоязычных подсказок, связанных с цензурированными темами, — более традиционный метод тонкой настройки, чем тот, который использовала Multiverse.
Однако Цао предупреждает, что заявления о полной «ликвидации» цензуры могут быть преувеличением. Китайское правительство жёстко контролирует информацию в интернете с момента его появления, а это означает, что цензура — процесс динамичный и сложный. Она заложена в каждый уровень обучения ИИ, от сбора данных до финальных этапов настройки.
«Очень сложно воссоздать [модель без цензуры] всего лишь на основе ответов на такой небольшой набор вопросов», — говорит Цао.
Источник: www.technologyreview.com
