LLM на 28 млн параметров смогли запустить на микроконтроллере за…
LLM на 28 млн параметров смогли запустить на микроконтроллере за $8
Энтузиаст запустил языковую модель на 28 млн параметров на микроконтроллере ESP32-S3. Скорость — около 9,5 токена в секунду, а ответы выводятся прямо на встроенный экран.
Всё благодаря хитрой архитектуре: 25 млн параметров хранятся во флеш-памяти, а в ОЗУ остаётся только «мыслящее ядро». GitHub проекта здесь.
Ждём запуск LLM на калькуляторе и тостере
Оцените материал:
Поделиться
Понравилась статья? Расскажите другим
Архив рубрики ~Лента новостей~
Как у меня тоже НЕ получился торговый бот на Polymarket
Архив рубрики ~Лента новостей~
«МТС Геоэффект» получил ИИ-анализ данных и сегментацию аудитории по интересам
Архив рубрики ~Лента новостей~
Как сахар в клетках мозга может способствовать развитию болезни Альцгеймера и как распространенная добавка для суставов может усугублять ее течение.
Архив рубрики ~Лента новостей~
В отчете OpenAI показано, как с помощью программистов ускоряется разработка научного программного обеспечения.
Архив рубрики ~Лента новостей~
Почему 90% внедрений ИИ в корпоратах заканчиваются пшиком (и при чём тут RAG)
Архив рубрики ~Лента новостей~
Старший вице-президент Target утверждает, что настоящая защита компании от угроз со стороны ИИ заключается не в моделях, а во всем, что построено вокруг них.
Архив рубрики ~Лента новостей~
Создаем веб‑приложение с Claude Code: деплоим сайт на сервер
Архив рубрики ~Лента новостей~
[Перевод] Космический телескоп «Роман» будет искать древние чёрные дыры, наблюдая за тем, как они поглощают звёзды
Архив рубрики ~Лента новостей~
Ещё больше технологий кубитов: новые варианты квантовых точек, вакансии в алмазной отрасли.
Архив рубрики ~Лента новостей~
Winamp планирует вернуться на рынок благодаря новому партнерству с Deezer.
Архив рубрики ~Лента новостей~
Компания Apple накапливает запасы продукции, готовясь к «значительным ограничениям поставок».
Архив рубрики ~Лента новостей~
Гипотеза о Языке Мышления как альтернатива Искусственному Интеллекту
Архив рубрики ~Лента новостей~
Обзоры искусственного интеллекта от Google становятся все более распространенными в результатах поиска.
Архив рубрики ~Лента новостей~
Gemini Plus можно получить на год бесплатно!
Архив рубрики ~Лента новостей~
Как у меня тоже НЕ получился торговый бот на Polymarket
Архив рубрики ~Лента новостей~
«МТС Геоэффект» получил ИИ-анализ данных и сегментацию аудитории по интересам
Архив рубрики ~Лента новостей~
Как сахар в клетках мозга может способствовать развитию болезни Альцгеймера и как распространенная добавка для суставов может усугублять ее течение.
Архив рубрики ~Лента новостей~
В отчете OpenAI показано, как с помощью программистов ускоряется разработка научного программного обеспечения.
Архив рубрики ~Лента новостей~
Почему 90% внедрений ИИ в корпоратах заканчиваются пшиком (и при чём тут RAG)
Архив рубрики ~Лента новостей~
Старший вице-президент Target утверждает, что настоящая защита компании от угроз со стороны ИИ заключается не в моделях, а во всем, что построено вокруг них.
Архив рубрики ~Лента новостей~
Создаем веб‑приложение с Claude Code: деплоим сайт на сервер
Архив рубрики ~Лента новостей~
[Перевод] Космический телескоп «Роман» будет искать древние чёрные дыры, наблюдая за тем, как они поглощают звёзды
Архив рубрики ~Лента новостей~
Ещё больше технологий кубитов: новые варианты квантовых точек, вакансии в алмазной отрасли.
Архив рубрики ~Лента новостей~
Winamp планирует вернуться на рынок благодаря новому партнерству с Deezer.
Архив рубрики ~Лента новостей~
Компания Apple накапливает запасы продукции, готовясь к «значительным ограничениям поставок».
Архив рубрики ~Лента новостей~
Гипотеза о Языке Мышления как альтернатива Искусственному Интеллекту
Архив рубрики ~Лента новостей~
Обзоры искусственного интеллекта от Google становятся все более распространенными в результатах поиска.
Архив рубрики ~Лента новостей~
Gemini Plus можно получить на год бесплатно!
Присоединяйтесь и подпишитесь на рассылку самых свежих новостей по Email
Получайте свежие новости и идеи на почту. Без спама — только самое интересное.
Нажимая «Подписаться», вы соглашаетесь с политикой конфиденциальности.
