DeepSeek на своём ПК: стартуем с лёгкой модели и без боли
Главная ловушка новичка — сразу тянуть огромные веса, а потом удивляться, почему всё падает. Нормальный путь проще: берём компактную DeepSeek, проверяем запуск, и только потом наращиваем аппетиты.
— Ставим зависимости
— Качаем лёгкую модель DeepSeek
— Проверяем, что она отвечает
— При необходимости включаем GPU или берём квантизацию, чтобы не убить память
Установка зависимостей
pip install transformers accelerate torch sentencepiece
Пример запуска DeepSeek из Python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_name = "deepseek-ai/deepseek-coder-6.7b-base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.float16,
device_map="auto" # если есть GPU — модель сама её использует
)
prompt = "Напиши на Python функцию, которая проверяет, простое ли число."
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=160,
temperature=0.4
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Что это даст
— быстрый запуск без тонкой настройки
— меньше шансов словить OOM и вылеты
— понятная база, от которой легко перейти к GPU и квантизации
