Архив рубрики ~Коротко из Telegram~

LLM на 28 млн параметров смогли запустить на микроконтроллере за…

LLM на 28 млн параметров смогли запустить на микроконтроллере за…
File 662

LLM на 28 млн параметров смогли запустить на микроконтроллере за $8

Энтузиаст запустил языковую модель на 28 млн параметров на микроконтроллере ESP32-S3. Скорость — около 9,5 токена в секунду, а ответы выводятся прямо на встроенный экран.

Всё благодаря хитрой архитектуре: 25 млн параметров хранятся во флеш-памяти, а в ОЗУ остаётся только «мыслящее ядро». GitHub проекта здесь.

Ждём запуск LLM на калькуляторе и тостере

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Как у меня тоже НЕ получился торговый бот на Polymarket Архив рубрики ~Лента новостей~ «МТС Геоэффект» получил ИИ-анализ данных и сегментацию аудитории по интересам Архив рубрики ~Лента новостей~ Как сахар в клетках мозга может способствовать развитию болезни Альцгеймера и как распространенная добавка для суставов может усугублять ее течение. Архив рубрики ~Лента новостей~ В отчете OpenAI показано, как с помощью программистов ускоряется разработка научного программного обеспечения. Архив рубрики ~Лента новостей~ Почему 90% внедрений ИИ в корпоратах заканчиваются пшиком (и при чём тут RAG) Архив рубрики ~Лента новостей~ Старший вице-президент Target утверждает, что настоящая защита компании от угроз со стороны ИИ заключается не в моделях, а во всем, что построено вокруг них. Архив рубрики ~Лента новостей~ Создаем веб‑приложение с Claude Code: деплоим сайт на сервер Архив рубрики ~Лента новостей~ [Перевод] Космический телескоп «Роман» будет искать древние чёрные дыры, наблюдая за тем, как они поглощают звёзды Архив рубрики ~Лента новостей~ Ещё больше технологий кубитов: новые варианты квантовых точек, вакансии в алмазной отрасли. Архив рубрики ~Лента новостей~ Winamp планирует вернуться на рынок благодаря новому партнерству с Deezer. Архив рубрики ~Лента новостей~ Компания Apple накапливает запасы продукции, готовясь к «значительным ограничениям поставок». Архив рубрики ~Лента новостей~ Гипотеза о Языке Мышления как альтернатива Искусственному Интеллекту Архив рубрики ~Лента новостей~ Обзоры искусственного интеллекта от Google становятся все более распространенными в результатах поиска. Архив рубрики ~Лента новостей~ Gemini Plus можно получить на год бесплатно! Архив рубрики ~Лента новостей~ Как у меня тоже НЕ получился торговый бот на Polymarket Архив рубрики ~Лента новостей~ «МТС Геоэффект» получил ИИ-анализ данных и сегментацию аудитории по интересам Архив рубрики ~Лента новостей~ Как сахар в клетках мозга может способствовать развитию болезни Альцгеймера и как распространенная добавка для суставов может усугублять ее течение. Архив рубрики ~Лента новостей~ В отчете OpenAI показано, как с помощью программистов ускоряется разработка научного программного обеспечения. Архив рубрики ~Лента новостей~ Почему 90% внедрений ИИ в корпоратах заканчиваются пшиком (и при чём тут RAG) Архив рубрики ~Лента новостей~ Старший вице-президент Target утверждает, что настоящая защита компании от угроз со стороны ИИ заключается не в моделях, а во всем, что построено вокруг них. Архив рубрики ~Лента новостей~ Создаем веб‑приложение с Claude Code: деплоим сайт на сервер Архив рубрики ~Лента новостей~ [Перевод] Космический телескоп «Роман» будет искать древние чёрные дыры, наблюдая за тем, как они поглощают звёзды Архив рубрики ~Лента новостей~ Ещё больше технологий кубитов: новые варианты квантовых точек, вакансии в алмазной отрасли. Архив рубрики ~Лента новостей~ Winamp планирует вернуться на рынок благодаря новому партнерству с Deezer. Архив рубрики ~Лента новостей~ Компания Apple накапливает запасы продукции, готовясь к «значительным ограничениям поставок». Архив рубрики ~Лента новостей~ Гипотеза о Языке Мышления как альтернатива Искусственному Интеллекту Архив рубрики ~Лента новостей~ Обзоры искусственного интеллекта от Google становятся все более распространенными в результатах поиска. Архив рубрики ~Лента новостей~ Gemini Plus можно получить на год бесплатно!

Оставить комментарий