Що таке контекстне вікно (context window)?
Контекстне вікно — це максимальний обсяг тексту в токенах, який мовна модель може тримати «перед очима» за один раз: системний промпт, історія діалогу, додані файли та її власна відповідь. Усе, що не вмістилося, для моделі просто не існує.
Коли листування стає довшим за контекстне вікно, ранні повідомлення витісняються, і модель перестає памʼятати, про що ви домовилися на початку. Це не «забудькуватість» у людському сенсі — ці токени фізично не подаються на вхід.
Велике вікно не скасовує потреби відбирати дані. Що більше сміття в контексті, то вища вартість запиту й то легше моделі проґавити важливе. Тому в робочих системах замість «завантажимо все» використовують RAG — підтягування лише релевантних фрагментів.
Де застосовується
Розмір вікна визначає, що взагалі можна доручити моделі за один запит: розібрати договір цілком чи лише його розділ, утримати все листування з клієнтом чи останні кілька повідомлень, проаналізувати один файл проєкту чи весь модуль.
Коли дані не вміщаються, застосовують обхідні прийоми. Документи ріжуть на фрагменти і підтягують лише релевантні через пошук за своєю базою, довге листування періодично стискають у стислий виклад, а обʼємну задачу розбивають на кілька кроків із передачею проміжного результату.
Приклад
Користувач на початку годинного діалогу назвав своє місто, а через сотню повідомлень модель відповідає, ніби не знає його. Причина не в забудькуватості: раннє повідомлення просто вийшло за межі вікна і фізично відсутнє в запиті.
Часті запитання
Що відбувається, коли текст не вміщається в контекстне вікно?
Зайве просто не потрапляє в запит: інтерфейси чатів зазвичай відкидають найстаріші повідомлення, а пряме звернення до API повертає помилку. Для моделі відкинутої частини не існує — вона не може послатися на те, чого не бачить.
Чим контекстне вікно відрізняється від памʼяті моделі?
Вікно — це робоча памʼять одного запиту, вона зникає після відповіді. Довготривалої памʼяті в моделі немає: усе, що вона «памʼятає» між сесіями, сервіс наново підкладає в запит — збережені нотатки, історію, знайдені документи.
Чи завжди велике контекстне вікно краще?
Ні. Довгий контекст коштує дорожче й обробляється довше, а якість на переповненому вікні може падати: важлива деталь губиться серед зайвого тексту. Часто вигідніше дібрати кілька релевантних фрагментів, ніж надсилати весь документ цілком.
Як вимірюється розмір контекстного вікна?
У токенах, і в нього входить усе одразу: системна інструкція, історія листування, прикріплені файли і сама відповідь моделі. Тому за ліміту, наприклад, у двісті тисяч токенів реально доступний обсяг для ваших даних завжди трохи менший.