Google представила Coral NPU — открытую платформу для создания умных ИИ-устройств на Эйдж девайсах

Это полный стек для разработки локального искусственного интеллекта, который работает без облака и практически без задержек.

Coral NPU — это новый тип нейропроцессора (Neural Processing Unit), созданный для умных гаджетов, IoT и носимых устройств.

Можно обучать и запускать модели прямо на устройствах с низким энергопотреблением — от датчиков и дронов до мини-роботов и камер. Coral NPU позволяет делать это быстро и безопасно.

Врунти:

— SDK и инструменты для TensorFlow Lite и ONNX

— Компилятор, квантование и оптимизация моделей

— Поддержка Python, C++ и микроконтроллеров

Как это работает

1. Модель обучается (в TensorFlow / PyTorch).

2. Компилятор Coral NPU превращает её в оптимизированный код через MLIR ? IREE ? NPU binary.

3. Код работает прямо на устройстве, используя:

— RISC-V (управляет задачами)

— Векторные блоки( выполняют параллельные операции)

— Матричные ускорители MAC (считают нейронные сети за милливатты энер)гии.

Результат — ИИ-инференс с производительностью до 512 миллиардов операций в секунду, при этом устройство потребляет очень мало ресурсов и не передаёт данные в облако.

Edge AI получает свою открытую архитектуру от Google.

Подробнее: https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/

Источник: research.google

Источник: ai-news.ru