Google и Raspberry Pi опубликовали гайд: полноценный локальный ИИ-конвейер…

‼️ Google и Raspberry Pi опубликовали гайд: полноценный локальный ИИ-конвейер — речь, зрение, языковая модель — работает целиком на Raspberry Pi 5 без облака. Витрина — робот Reachy Mini: слышит, распознаёт объекты, рассуждает через Gemma, отвечает речью и движением. Весь стек — около $80 в железе.

В основе — LiteRT (эволюция TensorFlow Lite) с надстройкой под LLM. Семейство Gemma подобрано под разные ограничения железа — от компактной 270M-модели до полноценной Gemma 4 E2B для диалога. Цифры: 99 токенов/сек prefill, 9 токенов/сек генерация при памяти всего 1432 МБ — это около 300 слов в минуту, вдвое быстрее обычной человеческой речи.

☀️ Порог входа снизили сильно — весь тулчейн ставится одним pip install, а CLI объединяет конвертацию, квантизацию и инференс, убирая обычную возню с зависимостями. Есть и GPU-ускорение для разгрузки компьютерного зрения.

Продолжение темы Qwen3.8-27B на Mac — только здесь совсем другой класс железа: не ноутбук, а $80 одноплатник без Wi-Fi.

❓ Пробовали бы собрать что-то подобное сами, или локальный ИИ такого масштаба кажется больше хобби-проектом?