Архив рубрики ~Лента новостей~

Как запустить мощную LLM у себя на компьютере: DeepSeek Coder офлайн за 10 строк кода

Как запустить мощную LLM у себя на компьютере: DeepSeek Coder офлайн за 10 строк кода

NOVOSTI

Хотите, чтобы нейросеть для генерации кода работала полностью локально, не отправляла ваши данные в облако и легко встраивалась в вашего Telegram-бота? Всё что нужно — Python и несколько гигабайт свободного места.

Базовая установка и запуск

Всё сводится к установке трёх библиотек и простому скрипту:

«`

pip install -U transformers accelerate torch

«`

«`

from transformers import AutoModelForCausalLM, AutoTokenizer

import torch

# Загружаем модель DeepSeek Coder (есть версии 1.3B, 6.7B, 33B параметров)

model_name = «deepseek-ai/deepseek-coder-6.7b-base»

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(

model_name,

trust_remote_code=True,

torch_dtype=torch.float16, # экономим память на GPU

device_map=»auto» # автоматом использует GPU, если есть

)

model.eval()

# Генерируем код по промпту

prompt = «Напиши telegram бота обратной связи на aiogram»

inputs = tokenizer(prompt, return_tensors=»pt»)

inputs = {k: v.to(model.device) for k, v in inputs.items()}

with torch.inference_mode():

outputs = model.generate(**inputs, max_new_tokens=180)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

«`

Первая загрузка скачает веса модели (несколько ГБ). Дальше она будет работать полностью офлайн.

Ключевые преимущества такого подхода

Полная приватность: Ваши промпты и код никуда не уходят.

Интеграция: Модель — просто Python-объект. Можно встроить в Telegram-бота, веб-сервис или CLI-утилиту.

Контроль: Сами выбираете температуру (temperature), длину ответа и другие параметры.

Оптимизация под ваше железо

Много RAM, но нет мощной GPU? Уберите torch_dtype=torch.float16 и device_map=»auto» — модель будет работать на CPU.

Мало оперативной памяти? Используйте квантованные версии (4-bit, 8-bit через bitsandbytes) или GGUF-формат для llama.cpp.

Есть NVIDIA GPU? device_map=»auto» само всё распределит. Чем больше видеопамяти — тем большую модель сможете запустить.

Сохраняйте этот шаблон — он станет основой для ваших локальных ИИ-инструментов.

Источник: vk.com

Источник: ai-news.ru

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Коротко из Telegram~ YouTube ужесточает контроль за «неаутентичным контентом» В этом видео детально… Архив рубрики ~Коротко из Telegram~ Роботы начнут чинить спутники — SpaceX запустила на орбиту беспилотник… Новости робототехники Андроид T800 потерял голову в поединке на ринге. В Китае прошел турнир по боям между человекоподобными роботами Новости робототехники Соучредитель Uber привлек $1,7 млрд для нового робототехнического стартапа ATOMS Архив рубрики ~Обо всем~ Заметки из окопов: взгляд вычислительного биолога на цифровую революцию в разработке лекарств. Новости робототехники Holiday Robotics собирает 105 миллионов долларов для своего колесного гуманоида ПЯТНИЦА Новости робототехники [Перевод] В Корее произошла первая в мире забастовка против использования гуманоидных роботов на производстве Архив рубрики ~Обо всем~ Оксид никеля из руды ускорил восстановление железа водородом вдвое. Твердофазный катализ восстановил смесь оксидов в сплав за одну стадию Новости робототехники Украинские беспилотники доставляют роботов непосредственно в зону боевых действий по морю и воздуху. Новости робототехники AMD представила модуль Kria для управления в кратчайшие сроки и унифицированную память для роботов. Архив рубрики ~Коротко из Telegram~ Создатель Twitter Джек Дорси выпустил аналог Discord и Slack —… Новости робототехники Роботакси Tesla движутся в обратном направлении. Архив рубрики ~Обо всем~ Вы умеете читать чужие мысли. Но наука уже 50 лет не может понять как Архив рубрики ~Обо всем~ Ложечка кваркового супа. Об истинных и возможных свойствах кварк-глюонной плазмы Архив рубрики ~Коротко из Telegram~ YouTube ужесточает контроль за «неаутентичным контентом» В этом видео детально… Архив рубрики ~Коротко из Telegram~ Роботы начнут чинить спутники — SpaceX запустила на орбиту беспилотник… Новости робототехники Андроид T800 потерял голову в поединке на ринге. В Китае прошел турнир по боям между человекоподобными роботами Новости робототехники Соучредитель Uber привлек $1,7 млрд для нового робототехнического стартапа ATOMS Архив рубрики ~Обо всем~ Заметки из окопов: взгляд вычислительного биолога на цифровую революцию в разработке лекарств. Новости робототехники Holiday Robotics собирает 105 миллионов долларов для своего колесного гуманоида ПЯТНИЦА Новости робототехники [Перевод] В Корее произошла первая в мире забастовка против использования гуманоидных роботов на производстве Архив рубрики ~Обо всем~ Оксид никеля из руды ускорил восстановление железа водородом вдвое. Твердофазный катализ восстановил смесь оксидов в сплав за одну стадию Новости робототехники Украинские беспилотники доставляют роботов непосредственно в зону боевых действий по морю и воздуху. Новости робототехники AMD представила модуль Kria для управления в кратчайшие сроки и унифицированную память для роботов. Архив рубрики ~Коротко из Telegram~ Создатель Twitter Джек Дорси выпустил аналог Discord и Slack —… Новости робототехники Роботакси Tesla движутся в обратном направлении. Архив рубрики ~Обо всем~ Вы умеете читать чужие мысли. Но наука уже 50 лет не может понять как Архив рубрики ~Обо всем~ Ложечка кваркового супа. Об истинных и возможных свойствах кварк-глюонной плазмы