Архив рубрики ~Коротко из Telegram~

LLM на 28 млн параметров смогли запустить на микроконтроллере за…

31.07.2026

File 662

LLM на 28 млн параметров смогли запустить на микроконтроллере за $8

Энтузиаст запустил языковую модель на 28 млн параметров на микроконтроллере ESP32-S3. Скорость — около 9,5 токена в секунду, а ответы выводятся прямо на встроенный экран.

Всё благодаря хитрой архитектуре: 25 млн параметров хранятся во флеш-памяти, а в ОЗУ остаётся только «мыслящее ядро». GitHub проекта здесь.

Ждём запуск LLM на калькуляторе и тостере

Оцените материал:

Читайте также

Архив рубрики ~Лента новостей~ Вот почему я не хочу вайбкодить вирусный SaaS‑проект на миллион пользователей Архив рубрики ~Лента новостей~ Слоны подавили привычное поведение в пользу более эффективного. Но классический тест на подавление импульсов им не подошел Архив рубрики ~Лента новостей~ У мальчика развилось заболевание кожи, похожее на поджаривание, из-за ежедневного использования ноутбука. Архив рубрики ~Лента новостей~ Этот миниатюрный фиолетовый веер – тот, от которого я постоянно оторываюсь. Архив рубрики ~Лента новостей~ Сторонники разумного замысла любят приводить в пример идеальное устройство крыла птицы или работу человеческого глаза Архив рубрики ~Полезное~ Российский стартап придумал, как удешевить работу ИИ в 20 раз… Новости робототехники Девен Парекх из Insight Partners объясняет, почему компания диверсифицирует свой бизнес, в то время как все остальные делают ставку на OpenAI и Anthropic. Архив рубрики ~Полезное~ Запускаем ИИ без цензуры прямо на телефоне — 8 ГБ… Архив рубрики ~Лента новостей~ Одинаковый прайс, разный счёт: почему агент на GPT-6 Astra может обойтись втрое дороже, чем на Claude Fable 5.1 Архив рубрики ~Лента новостей~ Долго работающие ИИ-агенты незаметно отменяют правила соответствия, и увеличение контекстных окон это не исправит. Архив рубрики ~Лента новостей~ Локальный ИИ класса Opus 4.6 «задешево»: две Tesla P100, 28-поточный Xeon и тесты на реальных задачах Архив рубрики ~Лента новостей~ Ваш телефон здесь бесполезен. Большой обзор транкинговой связи. Часть 1 Архив рубрики ~Полезное~ Вход без пароля: как работают passkeys и WebAuthn Архив рубрики ~Обо всем~ Стартапы в области термоядерной энергетики находят новых партнеров в оборонной сфере. Архив рубрики ~Лента новостей~ Вот почему я не хочу вайбкодить вирусный SaaS‑проект на миллион пользователей Архив рубрики ~Лента новостей~ Слоны подавили привычное поведение в пользу более эффективного. Но классический тест на подавление импульсов им не подошел Архив рубрики ~Лента новостей~ У мальчика развилось заболевание кожи, похожее на поджаривание, из-за ежедневного использования ноутбука. Архив рубрики ~Лента новостей~ Этот миниатюрный фиолетовый веер – тот, от которого я постоянно оторываюсь. Архив рубрики ~Лента новостей~ Сторонники разумного замысла любят приводить в пример идеальное устройство крыла птицы или работу человеческого глаза Архив рубрики ~Полезное~ Российский стартап придумал, как удешевить работу ИИ в 20 раз… Новости робототехники Девен Парекх из Insight Partners объясняет, почему компания диверсифицирует свой бизнес, в то время как все остальные делают ставку на OpenAI и Anthropic. Архив рубрики ~Полезное~ Запускаем ИИ без цензуры прямо на телефоне — 8 ГБ… Архив рубрики ~Лента новостей~ Одинаковый прайс, разный счёт: почему агент на GPT-6 Astra может обойтись втрое дороже, чем на Claude Fable 5.1 Архив рубрики ~Лента новостей~ Долго работающие ИИ-агенты незаметно отменяют правила соответствия, и увеличение контекстных окон это не исправит. Архив рубрики ~Лента новостей~ Локальный ИИ класса Opus 4.6 «задешево»: две Tesla P100, 28-поточный Xeon и тесты на реальных задачах Архив рубрики ~Лента новостей~ Ваш телефон здесь бесполезен. Большой обзор транкинговой связи. Часть 1 Архив рубрики ~Полезное~ Вход без пароля: как работают passkeys и WebAuthn Архив рубрики ~Обо всем~ Стартапы в области термоядерной энергетики находят новых партнеров в оборонной сфере.

Оставить комментарий Отменить ответ

Для отправки комментария вам необходимо авторизоваться.

🤖 Нельсон AI

✍️ Печатает...

Готов помочь

ГАЙДЫ 48