Что такое контекстное окно и почему оно важнее, чем количество параметров

Когда люди выбирают ИИ-модель, первое, на что смотрят — количество параметров. 7 миллиардов, 70 миллиардов, 400 миллиардов. Логика простая: чем больше число, тем умнее модель. Это не совсем неверно, но это далеко не самое важное. Есть характеристика, которая в реальной работе влияет на результат сильнее — и большинство пользователей о ней почти не думают.

Это контекстное окно.

Представьте, что вы работаете с очень умным коллегой, у которого есть одно ограничение — он помнит только последние N страниц вашего разговора. Всё, что было раньше — исчезло для него, как будто не существовало. Контекстное окно работает exactly так же.

Контекстное окно — это весь текст, который модель видит в момент генерации ответа. Туда входит всё: ваши сообщения, ответы модели, прикреплённые документы, системные инструкции. Всё это суммируется, и если сумма превышает лимит — то, что не влезло, модель просто не видит.

Измеряется контекстное окно в токенах. Токен — это не слово и не символ, а кусок текста, который модель обрабатывает как единицу. Примерно 1 токен — это 0.75 слова в английском тексте, в русском чуть больше из-за морфологии. Практическое правило — 1 000 токенов это примерно 600-700 слов, или одна-две страницы обычного текста.

Для понимания масштаба — средняя научная статья это около 4 000 токенов. Роман «Война и мир» — примерно 580 000 токенов. Стандартная кодовая база среднего проекта — от 50 000 до 300 000 токенов в зависимости от размера.

Рост был стремительным. Ранние трансформеры в 2017-2019 годах работали с 512-1024 токенами — это около трёх страниц текста. GPT-3 в 2020-м поднял планку до 2-4 тысяч токенов. GPT-4 в 2023-м — до 8-32 тысяч. Claude в том же 2023-м выпустил модель со 100 000 токенов, что тогда казалось огромным.

К середине 2026 года картина принципиально другая. GPT-4.1 и несколько других моделей поддерживают 1 миллион токенов. Llama 4 Scout от Meta заявляет 10 миллионов. Claude Opus 4.6 и Sonnet 4.6 поддерживают 1 миллион токенов в бета-режиме при стандартном окне в 200 000. Gemini 3.5 Pro работает с 1 миллионом токенов в стандартном режиме.

Миллион токенов — это примерно 750 000 слов, или около 3 000 страниц текста. Для большинства практических задач это уже бесконечно много.

Количество параметров — это размер модели, объём её знаний, запечённых в ходе обучения. Грубо говоря, параметры определяют, насколько модель образована. Больше параметров — больше паттернов и закономерностей, которые модель усвоила из обучающих данных.

Но вот в чём проблема. Модель с огромным числом параметров и маленьким контекстным окном в реальной задаче ведёт себя хуже, чем меньшая модель с большим окном — если задача требует работы с большим объёмом информации.

Конкретный пример, который хорошо это иллюстрирует. Пользователь на XDA-developers описал эксперимент: он работал с локальной моделью на 20 миллиардов параметров, но на длинных промптах получал плохие результаты. Переключился на модель Qwen с 9 миллиардами параметров — вдвое меньше — но с контекстным окном в 262 000 токенов вместо ограниченного окна предыдущей модели. Результат стал лучше. Не потому что 9B лучше 20B. А потому что для его задач контекст решал больше, чем размер.

Параметры важны для базовых способностей — рассуждать, писать код, понимать сложные инструкции. Контекстное окно важно для того, сколько информации модель может удержать в голове прямо сейчас. Это разные вещи.

Было бы слишком просто, если бы большое контекстное окно автоматически означало хорошую работу с большим контекстом. На практике всё сложнее.

В 2025 году исследовательская команда Chroma протестировала 18 фронтирных моделей — GPT-4.1, Claude, Gemini и другие. Результат был неприятным для всех вендоров без исключения: каждая модель работала хуже по мере того, как контекст заполнялся. И деградация была не постепенной. Модели держали, скажем, 95% точности — а потом на определённой длине контекста резко падали до 60%, иногда ниже.

Этот эффект называется context rot — деградация производительности по мере заполнения контекста. Причина в архитектуре трансформеров: механизм внимания распределяет вычислительный ресурс между всеми токенами, и чем их больше, тем меньше внимания достаётся каждому конкретному.

Из этого вытекает ещё одна проблема — потеряться в середине (lost in the middle). Модели гораздо лучше удерживают информацию из начала и конца контекста, чем из середины. Если вы вставили важный документ в середину длинного промпта — вероятность того, что модель его правильно учтёт, заметно ниже, чем если бы тот же документ был в начале или конце.

Практический вывод из этого: заявленное контекстное окно и эффективное контекстное окно — разные величины. Исследователи ввели понятие Maximum Effective Context Window (MECW) — точка, до которой модель реально работает хорошо. Для некоторых моделей MECW существенно меньше рекламируемого лимита.

Раз уж цифры не говорят всего — как тогда сравнивать?

По данным исследований Chroma, Claude деградирует медленнее остальных в классе. GPT-модели показывают более резкие и непредсказуемые ошибки при длинных контекстах, включая случаи, когда модель просто отказывалась отвечать (2.55% отказов при тестировании). Gemini начинает ошибаться раньше, с высокой вариативностью результатов.

Это не означает, что один вендор лучше другого во всём. Это означает, что при выборе модели для задач с большим контекстом стоит смотреть не только на заявленный лимит, но и на данные независимых тестов эффективной работы с контекстом.

Общее правило, которое сейчас работает: эффективная утилизация контекста обычно составляет 60-70% от заявленного лимита. Если модель заявляет 1 миллион токенов, рассчитывать на стабильную работу на 600-700 тысячах — разумная осторожность.

Несколько ситуаций, где это ощущается практически.

Длинные разговоры. Если вы ведёте длинный диалог с моделью — несколько десятков сообщений туда-обратно — в какой-то момент ранние части разговора выпадают из контекста. Модель начинает забывать то, что обсуждалось в начале. Это не баг, это физика — контекст заполнился.

Работа с документами. Чем больше документов вы вставляете в один запрос, тем выше риск, что модель не учтёт часть информации из середины. Если документы важные — лучше разбить на несколько запросов, чем пытаться втолкнуть всё сразу.

Кодовые базы. Для разработчиков контекстное окно часто важнее всего остального. Если вам нужно, чтобы модель понимала весь ваш проект целиком — нужно окно, куда этот проект влезет. Иначе придётся показывать куски по очереди и терять связность.

Системные промпты. Всё, что вы передаёте в системный промпт — инструкции, описание роли, правила — занимает место в контексте. Длинный системный промпт на 5 000 токенов в модели с окном 8 000 токенов оставляет под реальный диалог только 3 000 токенов.

Это важная практическая деталь. API всех крупных провайдеров считает стоимость в токенах — входящих и исходящих. Чем больше контекст, тем дороже каждый запрос.

Для Claude Opus 4.6 входящие токены стоят около 15 долларов за миллион. Миллион токенов контекста в одном запросе — это 15 долларов за один вызов. Для большинства задач это неоправданно. Для некоторых бизнес-задач — разумная цена.

Это объясняет, почему на практике большие контекстные окна используют не всегда и не для всего — даже когда они технически доступны. Стоимость и деградация качества в дальних зонах контекста вместе делают стратегию «вставить всё подряд» нежизнеспособной.

Конкретные рекомендации, которые работают в середине 2026 года.

Если ваши задачи — короткие диалоги, написание текстов, ответы на вопросы — контекстное окно почти не имеет значения. Любая современная модель справится. Смотрите на качество рассуждений и цену.

Если вы работаете с большими документами, кодовыми базами или длинными диалогами — контекстное окно выходит на первый план. Здесь имеет смысл смотреть на эффективное, а не заявленное окно. Claude и GPT 5.5 показывают хорошие результаты в зоне до 100-200 тысяч токенов. Для задач, которые действительно требуют миллионных контекстов, Gemini 3.5 Pro предлагает более дешёвый вариант при приемлемом качестве.

Если вы запускаете локальные модели — смотрите на контекстное окно в первую очередь, потому что ограничения VRAM часто делают реальное окно меньше заявленного. Qwen 3 и Llama 4 в разных вариантах показывают хорошее соотношение размера и контекста для локального запуска.

И главное: параметры — это потенциал модели. Контекст — это то, сколько этого потенциала она может применить к вашей конкретной задаче прямо сейчас. Второе в большинстве реальных сценариев важнее первого.