DeepSeek на своём ПК: стартуем с лёгкой модели и без…

DeepSeek на своём ПК: стартуем с лёгкой модели и без боли

Главная ловушка новичка — сразу тянуть огромные веса, а потом удивляться, почему всё падает. Нормальный путь проще: берём компактную DeepSeek, проверяем запуск, и только потом наращиваем аппетиты.

— Ставим зависимости
— Качаем лёгкую модель DeepSeek
— Проверяем, что она отвечает
— При необходимости включаем GPU или берём квантизацию, чтобы не убить память

Установка зависимостей

pip install transformers accelerate torch sentencepiece

Пример запуска DeepSeek из Python

from transformers import AutoModelForCausalLM, AutoTokenizer

import torch



model_name = "deepseek-ai/deepseek-coder-6.7b-base"



tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(

    model_name,

    torch_dtype=torch.float16,

    device_map="auto"  # если есть GPU — модель сама её использует

)



prompt = "Напиши на Python функцию, которая проверяет, простое ли число."



inputs = tokenizer(prompt, return_tensors="pt").to(model.device)



outputs = model.generate(

    **inputs,

    max_new_tokens=160,

    temperature=0.4

)



print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Что это даст

— быстрый запуск без тонкой настройки
— меньше шансов словить OOM и вылеты
— понятная база, от которой легко перейти к GPU и квантизации