Лучшие небольшие языковые модели на Hugging Face прямо сейчас!

Ознакомьтесь с тщательно отобранными моделями для изучения языков программирования, доступными в настоящее время на Hugging Face, узнайте, в чем каждая из них действительно хороша, какие показатели производительности подтверждают эти утверждения, и получите код для начала работы с каждой из них.

# Введение

Вот что должно изменить ваше представление о размере моделей ИИ: модель с 4 миллиардами параметров, выпущенная в начале 2025 года, теперь превосходит модели, которые были в 7 раз больше, по результатам стандартных тестов на логическое мышление. Google Gemma 3 4B показывает 89,2% в тесте GSM8K на математическое мышление. Microsoft Phi-4-mini с 3,8 миллиардами параметров достигает 83,7% в тесте ARC-C, что является самым высоким результатом во всем классе. Раньше эти показатели были характерны для моделей с 30 миллиардами параметров и более. Поэтому вопрос « действительно ли мне нужна модель с 70 миллиардами параметров для этого? » заслуживает повторного рассмотрения.

В контексте данной статьи под « маленькими » понимается модели с количеством параметров менее 7 миллиардов — модели, которые могут работать на одном потребительском графическом процессоре, ноутбуке или даже современном смартфоне при соответствующей настройке. Этот порог важен, поскольку он обозначает границу между моделями, требующими серьезной инфраструктуры, и моделями, которые может развернуть любой желающий. Никаких платежей за облачные сервисы. Никакого ожидания превышения лимитов API. Просто модель, работающая локально и выполняющая реальную работу.

Что вы получите из этой статьи: тщательно отобранный обзор лучших небольших языковых моделей, доступных в настоящее время на Hugging Face, описание того, в чем каждая из них действительно хороша, подтверждающие это данные бенчмарков, а также код для начала работы с каждой из них.

# Почему небольшие языковые модели заслуживают вашего внимания прямо сейчас

До недавнего времени большинство людей игнорировали небольшие модели, потому что они были недостаточно хороши. Модель 3B, выпущенная в 2022 году, испытывала трудности с многошаговым рассуждением, разваливалась при генерации кода и выдавала общие, ничем не примечательные результаты при решении сложных задач. Эта репутация сохранилась, даже когда модели незаметно стали намного лучше.

Три фактора изменили траекторию развития событий:

• Более качественные обучающие данные, а не их большее количество. Microsoft обучила Phi-4-mini на 5 триллионах токенов, но акцент был сделан на качестве. Синтетические данные были сгенерированы таким образом, чтобы быть насыщенными логическими рассуждениями, отфильтрованным общедоступным веб-контентом и структурированными образовательными материалами. Ставка оправдалась. Модель с 3,8 миллиардами параметров, тщательно обученная на правильных данных, превосходит модель с 13 миллиардами параметров, обученную небрежно на всем подряд. Qwen3-0.6B, имея всего 600 миллионов параметров, поддерживает более 100 языков, потому что ее обучающий корпус был создан с этой целью, а не как дополнительная функция.
• Дистилляция из перспективных моделей. DeepSeek-R1-Distill-Qwen-1.5B — это модель размером 1,5 миллиарда, которая научилась рассуждать, обучаясь на результатах работы гораздо более крупной модели. В результате получилась крошечная модель, которая может шаг за шагом решать задачи, что еще два года назад казалось невозможным при таком размере модели. Дистилляция теперь стала стандартным методом: взять огромного, способного учителя и сжать его поведение до доли параметров.
• Архитектурные улучшения. Технология Mixture-of-Experts (MoE) изменила само понятие «количество параметров». Модель Gemma 3n E4B от Google имеет 8 миллиардов параметров, но активирует только 4 миллиарда на токен; она работает с объемом памяти, сопоставимым с моделью на 4 миллиарда, но использует возможности модели на 8 миллиардов. Гибридные механизмы внимания и более длинные контекстные окна (128 КБ теперь распространены даже в моделях с объемом памяти менее 5 миллиардов) еще больше расширили возможности без увеличения размера модели.

Если вы хоть раз просматривали страницы моделей на Hugging Face, то знаете, насколько они могут быть сложными для восприятия. Прежде чем перейти к списку моделей, вот краткий обзор терминов, которые будут встречаться неоднократно.

• Параметры. Параметры — это числовые веса внутри модели, которые определяют, как она реагирует на входные данные. Большее количество параметров, как правило, означает большую способность хранить знания и обрабатывать сложные рассуждения, но не всегда лучшие результаты.
• Указанные контрольные показатели будут приведены в качестве примеров.
  • MMLU-Pro — это более сложная версия классического теста Massive Multitask Language Understanding (MMLU). Он охватывает 57 академических предметов — право, медицину, историю, физику и многое другое — с вариантами ответов, разработанными таким образом, чтобы действительно запутать. Результат 50+ баллов по MMLU-Pro, полученный с помощью модели ниже 5B, является значительным достижением. Результат выше 70 баллов — исключительным.
  • GSM8K (Grade School Math 8K) — это набор из 8500 текстовых задач по математике для начальной школы, требующих многоэтапного логического мышления для решения. Звучит просто, но система последовательно отличает модели, основанные на логическом мышлении, от моделей, основанных на сопоставлении закономерностей. Результаты представлены в виде процента правильно решенных задач.
  • Тестирование генерации кода в HumanEval . Модели предоставляется сигнатура функции Python и документация, и она должна написать код, который пройдет скрытый набор тестов. Результаты выше 60% для модели с объемом данных менее 5 миллиардов действительно впечатляют.
  • ARC-C (AI2 Reasoning Challenge) — это сборник научных вопросов из стандартизированных экзаменов, в частности, тех, которые ставили в тупик другие системы искусственного интеллекта. Он проверяет здравый смысл и научное мышление.
• Базовые модели против моделей, выполняющих инструкции, против моделей, основанных на мышлении. Базовая модель обучена предсказывать следующий токен — она генерирует текст, но не всегда надежно следует инструкциям. Модель, выполняющая инструкции, была доработана для того, чтобы полезно реагировать на подсказки в разговорном формате. Это то, что нужно для большинства приложений. Модели, основанные на мышлении или рассуждении (например, «режим мышления» Qwen3 или дистилляторы DeepSeek-R1), идут еще дальше: они генерируют цепочку рассуждений перед ответом, что повышает точность при решении сложных задач за счет замедления времени реакции. Большинство моделей в этом списке являются вариантами моделей, выполняющих инструкции.
• Квантование и GGUF. Модель, только что прошедшая обучение, хранит свои веса в 16-битном или 32-битном формате с плавающей запятой — точном, но объёмном. Квантование сжимает эти веса до меньшего количества бит. Q4 означает 4-битное квантование: каждый вес использует 4 бита вместо 16, что сокращает использование памяти примерно на 75%. Согласно результатам тестирования сообщества, квантование Q4_K_M сохраняет около 90–95% качества выходных данных исходной модели, требуя при этом лишь малую часть памяти. GGUF — это формат файлов, который упаковывает эти квантованные модели для использования с llama.cpp , наиболее широко используемым локальным механизмом вывода. Если вы видите модель, указанную как «X ГБ (Q4)», это приблизительное количество оперативной памяти, необходимое для загрузки квантованной версии.

# 1. Qwen3.5-4B (Alibaba)

Если и есть в этом списке модель, охватывающая наиболее широкий диапазон возможностей, то это Qwen3.5-4B . Выпущенная Alibaba в марте 2026 года, она занимает центральное место в малой серии Qwen3.5 — линейке, включающей модели от 0.8B до 9B, все они имеют одинаковую архитектуру и распространяются под лицензией Apache 2.0, что означает возможность их использования в коммерческих продуктах без опасений по поводу ограничений на использование.

Главное число — это размер контекстного окна. Согласно официальной карточке модели, Qwen3.5-4B поддерживает собственную длину контекста в 262 144 токена, которая может быть расширена до более чем одного миллиона. Для модели 4B это невероятный показатель. Большинство моделей такого размера достигают максимума в 128 000 токенов.

По умолчанию модель работает в режиме мышления, генерируя цепочку рассуждений перед тем, как дать ответ. Вы можете отключить этот режим для получения более быстрых и прямых ответов, когда вам не требуется глубокая проработка информации.

Лучше всего подходит для: задач общего назначения на разных языках, отслеживания инструкций, обработки длинных документов и любых приложений, где может потребоваться многомодальный ввод.

Код: Загрузка и запуск вывода

# Установка: pip install transformers torch accelerate from transformers import AutoModelForCausalLM, AutoTokenizer # Укажите ID модели из Hugging Face Hub model_id = «Qwen/Qwen3.5-4B» # Загрузка токенизатора — обрабатывает кодирование текста и форматирование чата tokenizer = AutoTokenizer.from_pretrained(model_id) # Загрузка модели; torch_dtype=»auto» выбирает наилучшую точность # device_map=»auto» автоматически размещает слои на доступном оборудовании model = AutoModelForCausalLM.from_pretrained( model_id, torch_dtype=»auto», device_map=»auto» ) # Создание диалога в виде списка словарей сообщений messages = [ {«role»: «system», «content»: «Вы полезный помощник.»}, {«role»: «user», «content»: «Объясните разницу между контролируемым и неконтролируемым обучением простыми словами.»} ] # Применение встроенного шаблона чата модели для правильного форматирования сообщений text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, # Установка enable_thinking=False пропускает цепочку рассуждений для более быстрого вывода # Удалите эту строку, если хотите, чтобы модель рассуждала пошагово перед ответом enable_thinking=False ) # Токенизация и перемещение входных данных на то же устройство, что и модель model_inputs = tokenizer([text], return_tensors=»pt»).to(model.device) # Генерируем ответ — max_new_tokens ограничивает длину выходных данных generated_ids = model.generate( **model_inputs, max_new_tokens=512 ) # Декодируем только вновь сгенерированные токены (не входной запрос) output_ids = generated_ids[0][len(model_inputs.input_ids[0]):] response = tokenizer.decode(output_ids, skip_special_tokens=True) print(response)

Что делает этот код: он загружает модель и токенизатор из Hugging Face, форматирует диалог, используя встроенный шаблон чата модели, генерирует ответ и декодирует только новые токены, чтобы вам не повторяли запрос. Флаг enable_thinking=False переводит модель в режим прямого ответа — удалите его, если хотите, чтобы она сначала обдумала проблему.

# 2. Microsoft Phi-4-mini-instruct (3.8B)

Phi-4-mini — это ставка Microsoft на то, что правильно подобранные обучающие данные превосходят масштабирование исходных данных. При объеме данных в 3,8 млрд параметров, обученных на 5 триллионах токенов тщательно отфильтрованных и синтетических данных, модель демонстрирует показатель ARC-C в 83,7% — самый высокий среди всех моделей с объемом данных менее 10 млрд параметров в этом бенчмарке. Ее показатель GSM8K в 88,6% и точность распознавания фактов SimpleQA в 91,1% уверенно конкурируют с моделями, которые в два-три раза больше.

Файл Q4_K_M GGUF занимает 2,49 ГБ, что означает, что он работает на компьютерах с объемом оперативной памяти всего 4 ГБ. Для тех, кому нужен мощный ИИ на ноутбуке среднего класса без требований к видеокарте, Phi-4-mini, вероятно, является наиболее практичным вариантом в этом списке.

В итоге, система теряет многоязычную глубину и поддержку мультимодального ввода. Она обучалась преимущественно на английском тексте, поэтому будет показывать худшие результаты в задачах, не связанных с английским языком. Если же ваша задача — рассуждения на английском языке, поиск знаний или выполнение структурированных задач, то такой компромисс вполне приемлем.

Лучше всего подходит для: задач, требующих логического мышления, вопросов и ответов, основанных на обширных знаниях, а также для всех, кто работает на ресурсоемком оборудовании и использует английский язык в качестве рабочей нагрузки.

Код: Базовый вызов функции вывода с использованием трансформеров.

# Установка: pip install transformers torch from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_id = «microsoft/Phi-4-mini-instruct» # Загрузка токенизатора для Phi-4-mini tokenizer = AutoTokenizer.from_pretrained(model_id) # Загрузка модели в формате bfloat16 для повышения эффективности использования памяти на GPU # Используйте torch_dtype=torch.float32, если работаете только на CPU model = AutoModelForCausalLM.from_pretrained( model_id, torch_dtype=torch.bfloat16, device_map=»auto» ) # Phi-4-mini использует формат чата система/пользователь/помощник messages = [ {«role»: «system», «content»: «Вы полезный помощник, ориентированный на четкие и точные ответы.»}, {«role»: «user», «content»: «В чем разница между списком и кортежем в Python?»} ] # Применение шаблона чата модели — Phi-4-mini ожидает следующий формат ввода: inputs = tokenizer.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_tensors=»pt» ).to(model.device) # Генерируем ответ outputs = model.generate( inputs, max_new_tokens=300, # Сохраняем ответы в фокусе temperature=0.7, # Небольшая случайность для естественного вывода do_sample=True # Требуется, когда temperature > 0 ) # Декодируем и выводим только сгенерированную часть response = tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True) print(response)

Что делает этот код: загружает Phi-4-mini в формате bfloat16 (примерно вдвое меньше памяти, чем в формате float32), форматирует диалог, используя встроенный шаблон чата модели, и выводит только новый ответ, отсекая входные токены. Параметр temperature=0.7 обеспечивает естественный вывод без излишней непредсказуемости.

# 3. Google Gemma 3 4B IT

Gemma 3 4B IT — это модель, которая удивляет людей, когда её запускают на практике. В коде и математике она показывает результаты, значительно превосходящие ожидания, учитывая 4 миллиарда параметров. Показатель 71,3% на HumanEval конкурентоспособен по сравнению с моделями вдвое большего размера, а 89,2% в математическом анализе GSM8K ставит её в действительно сильную категорию для решения математических задач начального и среднего школьного уровня.

Он поддерживает многомодальный ввод (текст и изображения) и поставляется с контекстным окном размером 128 КБ — достаточно большим, чтобы передать ему целую научную статью или значительный объем кода для анализа. Аббревиатура IT в названии означает Instruction Tuned (настроенный на инструкции), что просто означает, что это версия, точно настроенная для следования инструкциям в диалоге, а не исходная, предварительно обученная база данных.

Лучше всего подходит для: генерации кода, сложных математических задач и проектов, где требуется многомодальный ввод без превышения количества параметров (4 миллиарда).

# Установка: pip install transformers torch from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_id = «google/gemma-3-4b-it» # Загрузка токенизатора — обрабатывает специфический формат чата Gemma tokenizer = AutoTokenizer.from_pretrained(model_id) # Загрузка модели; bfloat16 сокращает объем памяти примерно вдвое по сравнению с float32. model = AutoModelForCausalLM.from_pretrained( model_id, torch_dtype=torch.bfloat16, device_map=»auto») # Gemma использует шаблон чата на основе ролей — всегда передавайте сообщения таким образом messages = [ {«role»: «user», «content»: «Напишите функцию Python, которая проверяет, является ли строка палиндромом.»} ] # Токенизация с использованием встроенного шаблона чата модели inputs = tokenizer.apply_chat_template( messages, return_tensors=»pt», add_generation_prompt=True ).to(model.device) # Запуск генерации с torch.no_grad(): # Отключает отслеживание градиента — ускоряет вывод outputs = model.generate( inputs, max_new_tokens=400, do_sample=True, temperature=0.7 ) # Удаляем входные токены и декодируем только ответ response = tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True) print(response)

Что делает этот код: загружает Gemma 3 4B IT, оборачивает подсказку для программирования в ожидаемый формат чата и генерирует ответ. Менеджер контекста torch.no_grad() указывает PyTorch не отслеживать градиенты во время вывода, что экономит память и ускоряет работу — всегда стоит включать его во время вывода.

# 4. Google Gemma 3n E4B (The Mobile One)

Gemma 3n E4B — это модель другого типа. Google разработала её специально для развертывания на устройствах — телефонах, периферийных устройствах, локальных приложениях — и архитектура отражает этот приоритет таким образом, как это не делают другие модели в этом списке.

Ключевое нововведение — MatFormer , вложенная архитектура трансформеров, в которой меньшая модель (E2B) встраивается в большую (E4B). Модель E4B имеет 8 миллиардов необработанных параметров, но для её работы требуется всего 3 ГБ памяти, поскольку встраивание послойных данных (PLE) хранит большую часть весов на ЦП, в то время как только основные слои трансформера находятся в памяти ускорителя. В результате: вы получаете производительность класса 4B при соответствующих требованиях к памяти, но базовая модель обладает вдвое большей производительностью.

Идеально подходит для: развертывания на устройствах и мобильных устройствах, многомодальных приложений (текст + изображение + аудио в одной модели) и любых сценариев, где приоритетом является эффективность использования памяти.

#5. Мета Лама 3.2 3B Инструкция

Llama 3.2 3B Instruct не может похвастаться самыми впечатляющими результатами бенчмарков в этом списке, но у неё есть то, чего нет у большинства других: огромное, активное сообщество. С более чем 2,18 миллионами загрузок на Hugging Face, это самая распространённая модель малого размера в этом списке, что означает больше тонких настроек, больше интеграций, больше инструментов от сообщества и больше реальных испытаний, чем у большинства альтернатив.

При объеме всего 2 ГБ в четвертом квартале квантования это также самая легкая полнофункциональная модель в этом списке. Она чисто обрабатывает вызовы инструментов и структурированные выходные данные — Meta разработала ее с учетом сценариев использования агентами — что делает ее естественным выбором для конвейеров, где модели необходимо вызывать внешние API или создавать JSON, который обрабатывает другая система.

Лучше всего подходит для: вызова инструментов, структурированных конвейеров вывода, мобильных приложений и любых проектов, которые выигрывают от широкой поддержки сообщества.

# Установка: pip install transformers torch # Примечание: Перед загрузкой необходимо принять лицензию Llama 3.2 на Hugging Face. from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_id = «meta-llama/Llama-3.2-3B-Instruct» # Загрузка токенизатора — Llama 3.2 использует собственные специальные токены чата tokenizer = AutoTokenizer.from_pretrained(model_id) # Загрузка bfloat16 для снижения потребления памяти (~2 ГБ при такой точности) model = AutoModelForCausalLM.from_pretrained( model_id, torch_dtype=torch.bfloat16, device_map=»auto») # Определение диалога — системная подсказка задает поведение модели messages = [ {«role»: «system», «content»: «Вы полезный помощник. Будьте краткими и точными.»}, {«role»: «user», «content»: «Кратко изложите ключевые различия между REST и GraphQL API.»} ] # Применение шаблона чата — критически важно для моделей Llama, контролирует специальные токены inputs = tokenizer.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_tensors=»pt» ).to(model.device) # Генерация ответа с помощью torch.no_grad(): output = model.generate( inputs, max_new_tokens=300, temperature=0.6, # Более низкая температура = более сфокусированный, детерминированный вывод do_sample=True, pad_token_id=tokenizer.eos_token_id # Предотвращает предупреждения о заполнении ) # Декодирование только ответа модели (а не входных данных) response = tokenizer.decode(output[0][inputs.shape[-1]:], skip_special_tokens=True) print(response)

Что делает этот код: Важно отметить, что pad_token_id=tokenizer.eos_token_id. Модели Llama часто выдают предупреждение во время генерации, потому что токенизатор не определяет отдельный токен-заполнитель. Установка его значения на токен конца последовательности корректно подавляет это предупреждение, не влияя на качество выходных данных.

# 6. HuggingFaceTB SmolLM3-3B

SmolLM3 — это собственная модель Hugging Face, и её отличительной чертой является прозрачность. Веса открыты. Состав обучающих данных публично задокументирован. Конфигурация обучения опубликована. Код для оценки результатов доступен для всех. Для исследователей, преподавателей или команд, разрабатывающих модели и нуждающихся в точном понимании того, с чем они работают, такая открытость является редкостью.

Сама модель построена на трехэтапной учебной программе: первый этап охватывает общий веб-текст на основе 11,2 триллионов обучающих токенов, второй знакомит с более качественными математическими и программными данными, а третий фокусируется на логическом мышлении. Такой поэтапный подход отражает то, как работает реальное образование людей, и, судя по сообщению в блоге SmolLM3, он позволяет модели занимать первое или второе место в тестах на знание и логическое мышление в рамках класса 3B, включая HellaSwag и ARC. При включении режима логического мышления производительность AIME 2025 возрастает с 9,3% до 36,7%.

Он также поддерживает вызов инструментов «из коробки», изначально поддерживает 6 европейских языков и расширяет возможности до 128 КБ контекста через YARN. Для работы кода моделирования требуются трансформеры версии 4.53.0 или более поздней.

Наилучшим образом подходит для: научных исследований, воспроизводимых экспериментов, проектов с открытым исходным кодом, где важна прозрачность, и многоязычных развертываний в Европе.

# Установка: pip install «transformers>=4.53.0» torch accelerate # SmolLM3 требует transformers версии 4.53.0+ — более старые версии не подойдут from transformers import AutoModelForCausalLM, AutoTokenizer checkpoint = «HuggingFaceTB/SmolLM3-3B» # Используйте «cuda» для GPU или «cpu» для вывода только на CPU device = «cuda» # Загрузка токенизатора tokenizer = AutoTokenizer.from_pretrained(checkpoint) # Загрузка модели — для многопроцессорных конфигураций используйте device_map=»auto» вместо model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device) # Создание и применение шаблона чата messages = [ {«role»: «user», «content»: «Explain the concept of attention in transformer models.»} ] # SmolLM3 использует стандартный шаблон чата — примените его перед токенизацией inputs = tokenizer.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_tensors=»pt» ).to(device) # Генерируем выходные данные ответа outputs = model.generate( inputs, max_new_tokens=400, do_sample=True, temperature=0.7 ) # Декодируем только вновь сгенерированные токены response = tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True) print(response)

Что делает этот код: Простая загрузка и генерация. Единственное, на что следует обратить внимание, это версия трансформеров — архитектура SmolLM3 требует версии 4.53.0 или выше. Запуск более старой версии вызовет ошибку, а не приведет к некорректному выводу, поэтому ее легко обнаружить.

# 7. DeepSeek-R1-Distill-Qwen-1.5B

Большинство моделей размером 1,5 миллиарда примерно подходят для автозаполнения, простого чата и не более того. DeepSeek-R1-Distill-Qwen-1.5B является заметным исключением. Она была обучена на результатах DeepSeek-R1, гораздо более крупной модели логического мышления, то есть она научилась рассуждать, наблюдая за гораздо более способным учителем. В результате получилась модель размером 1,5 миллиарда, способная создавать многошаговые цепочки рассуждений для математических и логических задач, в то время как другие модели такого размера сдаются и просто угадывают.

При объеме памяти около 1 ГБ в квантовании Q4 это самая маленькая модель в этом списке с реальными возможностями логического вывода. Она подходит практически для любого оборудования — Raspberry Pi с достаточным объемом оперативной памяти, старого ноутбука, встроенных устройств. Такой размер в сочетании с возможностями логического вывода делает её полезной в любом сценарии, где требуется легковесный вывод для структурированных задач, и нет возможности использовать более крупную модель.

Компромисс: это не универсальный чат-бот. Его сильные стороны — математика, логика и рассуждения. Для творческих задач или открытого диалога он будет показывать результаты ниже ожидаемых для своего класса.

Лучше всего подходит для: периферийных устройств, встроенных систем, легковесных конвейеров обработки данных и любых проектов, где размер модели в 1 ГБ является обязательным требованием.

# 8. Qwen3-0.6B

Qwen3-0.6B находится на грани того, что сейчас можно назвать языковой моделью. Имея 600 миллионов параметров, она работает на оборудовании, которое большинство людей даже не стали бы рассматривать для использования в ИИ, — и при этом она всё ещё способна выполнять полезные задачи. 19,1 миллиона загрузок на Hugging Face говорят о том, что многие люди нашли ей реальное применение.

Он имеет ту же двухрежимную архитектуру, что и остальные устройства семейства Qwen3: режим мышления для задач, требующих логического рассуждения, и режим без мышления для быстрых прямых ответов. Поддерживается более 100 языков. Для таких задач, как классификация текста, автозаполнение коротких текстов, базовое суммирование или легковесные функции мобильных приложений, он действительно достаточно функционален, учитывая его размер.

Не ждите от него написания сложного кода, обработки многошаговых рассуждений на основе длинных входных данных или конкуренции с моделями объемом более 3 миллиардов символов в бенчмарках. Он создан не для этого. Он создан для работы где угодно — и он это делает.

Лучше всего подходит для: автозаполнения, классификации текста, простых функций на устройстве, работы с крайне ограниченными аппаратными ресурсами и быстрого прототипирования, когда создание более крупной модели является излишним.

# Заключение

Главная мысль этой статьи проста: малый размер больше не означает ограниченность. Модель с 3,8 млрд. ГБ памяти демонстрирует результаты, которые ещё год назад казались показателями для 30 млрд. Модель с 2 ГБ оперативной памяти справляется с задачами логического вывода, которые раньше требовали корпоративной инфраструктуры. Это не маркетинг — это то, что показывают данные бенчмарков, и это воспроизводимо на оборудовании, которое уже есть у большинства пользователей.

Практический вывод заключается в том, что решение использовать API нового поколения по умолчанию стоит пересмотреть для все большего числа задач. Если ваша рабочая нагрузка связана с обработкой англоязычных данных, генерацией кода или структурированными результатами, Phi-4-mini или Gemma 3 4B IT справятся с большей частью задач на ноутбуке. Если вы разрабатываете многоязычную модель, Qwen3.5-4B — это коммерчески удобная модель Apache 2.0 с контекстным окном размером 262 КБ и встроенным пониманием изображений. Если вы ориентируетесь на мобильное или периферийное оборудование, Gemma 3n E4B была специально разработана именно для этого — и ничто в этом списке не сравнится с ней в этой категории. А если вы хотите точно знать, что вы поставляете — каждый источник данных, каждое решение по обучению — SmolLM3-3B является единственным полностью прозрачным вариантом в этом классе.

Шитту Олумиде — инженер-программист и технический писатель, увлеченный использованием передовых технологий для создания захватывающих повествований, обладающий острым вниманием к деталям и умением упрощать сложные концепты. Шитту также можно найти в Твиттере.

Источник: www.kdnuggets.com