Что такое контекстное окно (context window)?
Контекстное окно — это максимальный объём текста в токенах, который языковая модель может держать «перед глазами» за один раз: системный промпт, история диалога, приложенные файлы и её собственный ответ. Всё, что не поместилось, для модели просто не существует.
Когда переписка становится длиннее контекстного окна, ранние сообщения вытесняются, и модель перестаёт помнить, о чём вы договорились в начале. Это не «забывчивость» в человеческом смысле — эти токены физически не подаются на вход.
Большое окно не отменяет необходимости отбирать данные. Чем больше мусора в контексте, тем выше стоимость запроса и тем легче модели упустить важное. Поэтому в рабочих системах вместо «загрузим всё» используют RAG — подтягивание только релевантных фрагментов.
Где применяется
Размер окна определяет, что вообще можно поручить модели за один запрос: разобрать договор целиком или только его раздел, удержать всю переписку с клиентом или последние несколько сообщений, проанализировать один файл проекта или весь модуль.
Когда данные не помещаются, применяют обходные приёмы. Документы режут на фрагменты и подтягивают только релевантные через поиск по своей базе, длинную переписку периодически сжимают в краткое изложение, а объёмную задачу разбивают на несколько шагов с передачей промежуточного результата.
Пример
Пользователь в начале часового диалога назвал свой город, а через сотню сообщений модель отвечает, будто не знает его. Причина не в забывчивости: раннее сообщение просто вышло за пределы окна и физически отсутствует в запросе.
Частые вопросы
Что происходит, когда текст не помещается в контекстное окно?
Лишнее просто не попадает в запрос: интерфейсы чатов обычно отбрасывают самые старые сообщения, а прямое обращение к API возвращает ошибку. Для модели отброшенной части не существует — она не может сослаться на то, чего не видит.
Чем контекстное окно отличается от памяти модели?
Окно — это рабочая память одного запроса, она исчезает после ответа. Долговременной памяти у модели нет: всё, что она «помнит» между сессиями, сервис заново подкладывает в запрос — сохранённые заметки, историю, найденные документы.
Всегда ли большое контекстное окно лучше?
Нет. Длинный контекст стоит дороже и обрабатывается дольше, а качество на переполненном окне может падать: важная деталь теряется среди лишнего текста. Часто выгоднее подобрать несколько релевантных фрагментов, чем отправить весь документ целиком.
Как измеряется размер контекстного окна?
В токенах, и в него входит всё сразу: системная инструкция, история переписки, приложенные файлы и сам ответ модели. Поэтому при лимите, например, в двести тысяч токенов реально доступный объём для ваших данных всегда немного меньше.