Хотите, чтобы нейросеть для генерации кода работала полностью локально, не отправляла ваши данные в облако и легко встраивалась в вашего Telegram-бота? Всё что нужно — Python и несколько гигабайт свободного места.
Базовая установка и запуск
Всё сводится к установке трёх библиотек и простому скрипту:
«`
pip install -U transformers accelerate torch
«`
«`
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
# Загружаем модель DeepSeek Coder (есть версии 1.3B, 6.7B, 33B параметров)
model_name = «deepseek-ai/deepseek-coder-6.7b-base»
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_name,
trust_remote_code=True,
torch_dtype=torch.float16, # экономим память на GPU
device_map=»auto» # автоматом использует GPU, если есть
)
model.eval()
# Генерируем код по промпту
prompt = «Напиши telegram бота обратной связи на aiogram»
inputs = tokenizer(prompt, return_tensors=»pt»)
inputs = {k: v.to(model.device) for k, v in inputs.items()}
with torch.inference_mode():
outputs = model.generate(**inputs, max_new_tokens=180)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
«`
Первая загрузка скачает веса модели (несколько ГБ). Дальше она будет работать полностью офлайн.
Ключевые преимущества такого подхода
Полная приватность: Ваши промпты и код никуда не уходят.
Интеграция: Модель — просто Python-объект. Можно встроить в Telegram-бота, веб-сервис или CLI-утилиту.
Контроль: Сами выбираете температуру (temperature), длину ответа и другие параметры.
Оптимизация под ваше железо
Много RAM, но нет мощной GPU? Уберите torch_dtype=torch.float16 и device_map=»auto» — модель будет работать на CPU.
Мало оперативной памяти? Используйте квантованные версии (4-bit, 8-bit через bitsandbytes) или GGUF-формат для llama.cpp.
Есть NVIDIA GPU? device_map=»auto» само всё распределит. Чем больше видеопамяти — тем большую модель сможете запустить.
Сохраняйте этот шаблон — он станет основой для ваших локальных ИИ-инструментов.
Источник: vk.com
Источник: ai-news.ru
