Представляем Coral NPU — полнофункциональную платформу с открытым исходным кодом, разработанную для решения основных проблем производительности, фрагментации и конфиденциальности, которые ограничивают возможности мощного, постоянно работающего ИИ на маломощных периферийных устройствах и носимых гаджетах.
Быстрые ссылки
- Коралловый НПУ
- Делиться
Генеративный ИИ коренным образом изменил наши представления о технологиях. Мы увидели мощь крупномасштабных облачных моделей, способных создавать, рассуждать и оказывать помощь невероятными способами. Однако следующий большой технологический прорыв заключается не просто в увеличении размеров облачных моделей; он заключается во внедрении их интеллекта непосредственно в наше непосредственное, личное окружение. Чтобы ИИ действительно оказывал помощь — проактивно помогая нам ориентироваться в течение дня, переводя разговоры в режиме реального времени или понимая наше физическое окружение, — он должен работать на устройствах, которые мы носим и используем. Это представляет собой ключевую задачу: внедрение окружающего ИИ в устройства на периферии сети с ограниченным временем автономной работы, освобождая их от облака и обеспечивая действительно конфиденциальные, круглосуточные вспомогательные возможности.
Для перехода от облачных технологий к персональным устройствам необходимо решить три важнейшие проблемы:
- Разрыв в производительности: сложные, передовые модели машинного обучения (МО) требуют больших вычислительных мощностей, значительно превышающих ограниченные возможности периферийных устройств по энергопотреблению, теплоотводу и объему памяти.
- Проблема фрагментации: компиляция и оптимизация моделей машинного обучения для разнообразного набора проприетарных процессоров — сложная и дорогостоящая задача, препятствующая стабильной работе на разных устройствах.
- Дефицит доверия пользователей: чтобы быть действительно полезным, персональный ИИ должен уделять первостепенное внимание конфиденциальности и безопасности личных данных и контексту.
Сегодня мы представляем Coral NPU — полнофункциональную платформу, основанную на нашей оригинальной разработке Coral, которая предоставляет разработчикам оборудования и специалистам по машинному обучению инструменты, необходимые для создания следующего поколения высокоэффективных устройств ИИ на периферии сети. Разработанная совместно с Google Research и Google DeepMind, Coral NPU — это аппаратная архитектура, ориентированная на ИИ, созданная для обеспечения работы следующего поколения сверхэкономичных, постоянно работающих устройств ИИ на периферии сети. Она предлагает единый интерфейс для разработчиков, упрощая развертывание таких приложений, как датчики окружающей среды. Платформа специально разработана для обеспечения круглосуточной работы ИИ на носимых устройствах с минимальным потреблением заряда батареи и возможностью настройки для более высокопроизводительных сценариев использования. Мы выпустили документацию и инструменты, чтобы разработчики и дизайнеры могли начать разработку уже сегодня.
Coral NPU: архитектура, ориентированная на искусственный интеллект.
Разработчики, создающие решения для маломощных периферийных устройств, сталкиваются с принципиальным компромиссом: выбор между универсальными процессорами и специализированными ускорителями. Универсальные процессоры обеспечивают необходимую гибкость и широкую программную поддержку, но им не хватает специализированной архитектуры для ресурсоемких задач машинного обучения, что делает их менее производительными и энергоэффективными. В свою очередь, специализированные ускорители обеспечивают высокую эффективность машинного обучения, но негибкие, сложные в программировании и плохо подходят для решения общих задач.
Проблема аппаратного обеспечения усугубляется сильно фрагментированной программной экосистемой. Из-за кардинально различающихся моделей программирования для процессоров и блоков машинного обучения разработчики часто вынуждены использовать проприетарные компиляторы и сложные буферы команд. Это создает крутую кривую обучения и затрудняет объединение уникальных преимуществ различных вычислительных блоков. В результате в отрасли отсутствует зрелая, энергоэффективная архитектура, которая могла бы легко и эффективно поддерживать множество фреймворков для разработки машинного обучения.
Архитектура Coral NPU напрямую решает эту проблему, переворачивая традиционную конструкцию чипа. Она отдает приоритет матричному механизму машинного обучения над скалярными вычислениями, оптимизируя архитектуру для ИИ с самого начала и создавая платформу, специально разработанную для более эффективного выполнения вычислений непосредственно на устройстве.
Coral NPU, представляя собой полноценную эталонную архитектуру нейронного процессора (NPU), обеспечивает строительные блоки для следующего поколения энергоэффективных, оптимизированных для машинного обучения систем на кристалле (SoC). Архитектура основана на наборе архитектурных IP-блоков, совместимых с архитектурой RISC-V ISA, и разработана для минимального энергопотребления, что делает ее идеальной для постоянного мониторинга окружающей среды. Базовая конструкция обеспечивает производительность в диапазоне 512 гигаопераций в секунду (GOPS) при потреблении всего нескольких милливатт, что позволяет создавать мощные системы искусственного интеллекта на устройствах, таких как периферийные устройства, наушники, очки дополненной реальности и умные часы.
Единое представление экосистемы Coral NPU, демонстрирующее комплексное решение для разработчиков SoC и разработчиков машинного обучения.
Открытая и расширяемая архитектура на базе RISC-V предоставляет разработчикам SoC гибкость в модификации базовой конструкции или использовании ее в качестве предварительно сконфигурированного нейронного процессора (NPU). Архитектура Coral NPU включает следующие компоненты:
- Скалярное ядро: облегченный, программируемый на языке C интерфейс RISC-V, который управляет потоком данных к ядрам бэкэнда, используя простую модель «выполнения до завершения» для сверхнизкого энергопотребления и традиционных функций ЦП.
- Блок векторного выполнения: надежный сопроцессор SIMD (single instruction multiple data), совместимый с набором векторных инструкций RISC-V (RVV) версии 1.0, позволяющий одновременно обрабатывать большие наборы данных.
- Блок выполнения матриц: высокоэффективный квантованный механизм умножения-накопления внешнего произведения (MAC), специально разработанный для ускорения основных операций нейронных сетей. Обратите внимание, что блок выполнения матриц все еще находится в разработке и будет выпущен на GitHub позже в этом году.
Визуализация архитектурного перехода от традиционного дизайна к Coral NPU.
Единый интерфейс для разработчиков
Архитектура Coral NPU представляет собой простую, программируемую на языке C целевую платформу, которая может легко интегрироваться с современными компиляторами, такими как IREE и TFLM. Это обеспечивает легкую поддержку фреймворков машинного обучения, таких как TensorFlow, JAX и PyTorch.
Coral NPU включает в себя комплексный набор программных инструментов, в том числе специализированные решения, такие как компилятор TFLM для TensorFlow, а также универсальный компилятор MLIR, компилятор C, пользовательские ядра и симулятор. Это предоставляет разработчикам гибкие возможности. Например, модель из фреймворка, такого как JAX, сначала импортируется в формат MLIR с использованием диалекта StableHLO. Затем этот промежуточный файл передается в компилятор IREE, который применяет аппаратно-специфический плагин для распознавания архитектуры Coral NPU. После этого компилятор выполняет поэтапное преобразование — критически важный этап оптимизации, на котором код систематически транслируется через ряд диалектов, приближаясь к собственному языку машины. После оптимизации набор инструментов генерирует окончательный, компактный бинарный файл, готовый для эффективного выполнения на периферийном устройстве. Этот набор стандартных отраслевых инструментов для разработчиков помогает упростить программирование моделей машинного обучения и обеспечивает согласованную работу на различных аппаратных платформах.
Инструментарий компилятора Coral NPU, иллюстрирующий полный цикл от создания модели машинного обучения через оптимизацию и компиляцию до развертывания на устройстве.
Процесс совместной разработки Coral NPU сосредоточен на двух ключевых областях. Во-первых, архитектура эффективно ускоряет работу ведущих архитектур на основе энкодеров, используемых в современных приложениях для обработки изображений и звука на устройствах. Во-вторых, мы тесно сотрудничаем с командой Gemma для оптимизации Coral NPU для моделей с малыми трансформаторами, что помогает обеспечить поддержку архитектурой ускорителя следующего поколения генеративного ИИ на периферии сети.
Благодаря такому двойному фокусу Coral NPU находится на пути к тому, чтобы стать первым открытым, основанным на стандартах, энергоэффективным NPU, разработанным для внедрения LLM в носимые устройства. Для разработчиков это обеспечивает единый, проверенный путь для развертывания как текущих, так и будущих моделей с максимальной производительностью при минимальном энергопотреблении.
Целевые приложения
Coral NPU разработан для обеспечения сверхнизкого энергопотребления и постоянной работы периферийных приложений искусственного интеллекта, особенно ориентированных на системы мониторинга окружающей среды. Его основная цель — обеспечить круглосуточную работу ИИ на носимых устройствах, мобильных телефонах и устройствах Интернета вещей (IoT) с минимальным расходом заряда батареи.
Возможные варианты использования включают:
- Контекстная осведомленность: определение активности пользователя (например, ходьба, бег), близости или окружающей среды (например, в помещении/на улице, в движении) для включения режимов «не беспокоить» или других функций, учитывающих контекст.
- Обработка звука: распознавание голоса и речи, поиск ключевых слов, перевод в реальном времени, транскрипция и функции обеспечения доступности на основе аудио.
- Обработка изображений: обнаружение людей и объектов, распознавание лиц, распознавание жестов и маломощный визуальный поиск.
- Взаимодействие с пользователем: обеспечение управления с помощью жестов рук, звуковых сигналов или других сенсорных входных данных.
Конфиденциальность, обеспечиваемая аппаратным обеспечением
Ключевой принцип Coral NPU — это укрепление доверия пользователей за счет аппаратной защиты. Наша архитектура разрабатывается с учетом поддержки таких новых технологий, как CHERI, обеспечивающих детальную безопасность на уровне памяти и масштабируемую программную сегментацию. Благодаря такому подходу мы надеемся обеспечить изоляцию конфиденциальных моделей ИИ и персональных данных в аппаратно-защищенной «песочнице», что позволит снизить риски атак, связанных с памятью.
Создание экосистемы
Успех проектов с открытым аппаратным обеспечением во многом зависит от прочных партнерских отношений. В связи с этим мы сотрудничаем с Synaptics, нашим первым стратегическим партнером в области микросхем и лидером в сфере встроенных вычислительных систем, беспроводной связи и многомодального сенсорного анализа для Интернета вещей. Сегодня на своем Дне технологий Synaptics анонсировала новую линейку процессоров Astra™ SL2610 для Интернета вещей с поддержкой искусственного интеллекта. Эта линейка продуктов включает в себя подсистему NPU Torq™, первую в отрасли производственную реализацию архитектуры Coral NPU. Конструкция NPU поддерживает трансформацию и динамические операторы, что позволяет разработчикам создавать перспективные системы Edge AI для потребительского и промышленного Интернета вещей.
Это партнерство подтверждает наше стремление к созданию единого интерфейса для разработчиков. Платформа Synaptics Torq™ Edge AI построена на основе компилятора и среды выполнения с открытым исходным кодом, базирующихся на стандартах IREE и MLIR. Это сотрудничество является важным шагом на пути к созданию общего открытого стандарта для интеллектуальных устройств, учитывающих контекст.
Решение ключевых кризисов на границе
С помощью Coral NPU мы создаём фундаментальный слой для будущего персонального ИИ. Наша цель — способствовать развитию динамичной экосистемы, предоставляя общую, открытую и безопасную платформу для дальнейшего развития отрасли. Это позволит разработчикам и производителям микросхем преодолеть сегодняшнюю разрозненность рынка и совместно разработать общий стандарт для граничных вычислений, что ускорит инновации. Узнайте больше о Coral NPU и начните создавать уже сегодня.
Благодарности
Мы хотели бы поблагодарить основных участников и команду руководителей за эту работу, в частности Билли Ратледжа, Бена Лори, Дерека Чоу, Майкла Хоанга, Навина Додду, Мурали Виджаярагхавана, Грегори Килиана, Мэтью Уилсона, Билла Луана, Дивью Пандью, Прити Сингх, Акиба Уддина, Стефана Холла, Алекса Ван Дамме, Дэвида Гао, Лун Донга, Джулиана Маллингса-Блэка, Романа Левкова, Шакеда Флура, Йенкая Вана, Рейда Татге, Тима Харви, Тора Йеремиассена, Ишу Мишру, Кая Йика, Синди Лю, Бангфея Пана, Иана Филда, Шриканта Мурура, Джея Ягника, Авинатана Хассидима и Йосси Матиаса.
Источник: research.google
