Архив рубрики ~Коротко из Telegram~

LLM на 28 млн параметров смогли запустить на микроконтроллере за…

LLM на 28 млн параметров смогли запустить на микроконтроллере за…
File 662

LLM на 28 млн параметров смогли запустить на микроконтроллере за $8

Энтузиаст запустил языковую модель на 28 млн параметров на микроконтроллере ESP32-S3. Скорость — около 9,5 токена в секунду, а ответы выводятся прямо на встроенный экран.

Всё благодаря хитрой архитектуре: 25 млн параметров хранятся во флеш-памяти, а в ОЗУ остаётся только «мыслящее ядро». GitHub проекта здесь.

Ждём запуск LLM на калькуляторе и тостере

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ От Word по почте до ИИ‑скиллов: обсудим эволюцию документации и зачем нейросетям бизнес‑контекст Новости робототехники Искусственный интеллект в БПЛА: преимущества и риски Архив рубрики ~Лента новостей~ Для получения религиозного освобождения от использования ИИ на работе не обязательно верить в бога. Архив рубрики ~Лента новостей~ Яндекс Браузер впервые преодолел отметку в 100 миллионов активных пользователей на устройствах Архив рубрики ~Лента новостей~ ИИ всегда на вашей стороне. Почему это может стать проблемой, особенно для подростков? Архив рубрики ~Лента новостей~ Воспоминания об АОНе. Как работал определитель номера и почему он вызывал столько дискуссий Архив рубрики ~Лента новостей~ Микропластик сорбировал железо и медь из сыворотки крови. Они вошли в состав белковой короны на частицах пластика Архив рубрики ~Лента новостей~ Твоя внезапная мотивация в 3 часа ночи — это биологическая ловушка, которая планомерно разрушает твою психику Архив рубрики ~Лента новостей~ Компания Upwind привлекла 400 миллионов долларов после отказа от предложения о приобретении Datadog. Архив рубрики ~Лента новостей~ Как создать ИИ-агента для поиска клиентов в Aizor Архив рубрики ~Лента новостей~ Я подсвечивал нейроны крохотного ИИ, чтобы понять, когда тот врет Архив рубрики ~Лента новостей~ Война стандартов: как поделить цветной телеэфир. Часть 3 Архив рубрики ~Лента новостей~ Ретатрутид снизил частоту обструктивных апноэ во сне при избытке массы тела. Результаты получены в испытаниях третьей фазы Архив рубрики ~Лента новостей~ МНОГО НАУКИ и ПОЛЬЗЫ для ПРОДЛЕНИЯ ЖИЗНИ?? Архив рубрики ~Лента новостей~ От Word по почте до ИИ‑скиллов: обсудим эволюцию документации и зачем нейросетям бизнес‑контекст Новости робототехники Искусственный интеллект в БПЛА: преимущества и риски Архив рубрики ~Лента новостей~ Для получения религиозного освобождения от использования ИИ на работе не обязательно верить в бога. Архив рубрики ~Лента новостей~ Яндекс Браузер впервые преодолел отметку в 100 миллионов активных пользователей на устройствах Архив рубрики ~Лента новостей~ ИИ всегда на вашей стороне. Почему это может стать проблемой, особенно для подростков? Архив рубрики ~Лента новостей~ Воспоминания об АОНе. Как работал определитель номера и почему он вызывал столько дискуссий Архив рубрики ~Лента новостей~ Микропластик сорбировал железо и медь из сыворотки крови. Они вошли в состав белковой короны на частицах пластика Архив рубрики ~Лента новостей~ Твоя внезапная мотивация в 3 часа ночи — это биологическая ловушка, которая планомерно разрушает твою психику Архив рубрики ~Лента новостей~ Компания Upwind привлекла 400 миллионов долларов после отказа от предложения о приобретении Datadog. Архив рубрики ~Лента новостей~ Как создать ИИ-агента для поиска клиентов в Aizor Архив рубрики ~Лента новостей~ Я подсвечивал нейроны крохотного ИИ, чтобы понять, когда тот врет Архив рубрики ~Лента новостей~ Война стандартов: как поделить цветной телеэфир. Часть 3 Архив рубрики ~Лента новостей~ Ретатрутид снизил частоту обструктивных апноэ во сне при избытке массы тела. Результаты получены в испытаниях третьей фазы Архив рубрики ~Лента новостей~ МНОГО НАУКИ и ПОЛЬЗЫ для ПРОДЛЕНИЯ ЖИЗНИ??

Оставить комментарий