Контекстное окно
Объём информации, который модель может учитывать в одном запросе. Обычно измеряется в токенах и включает входные данные и, в зависимости от модели, ответ.
На практике
В общий бюджет контекста входят инструкции, история, найденные документы и генерируемый ответ. Если приложение сохраняет много старых сообщений, для новых материалов остаётся меньше места.
Что учитывать
Заявленный предел не гарантирует одинаково точную работу со всеми частями длинного документа. Важные фрагменты лучше выбирать по задаче и проверять, как приложение обрабатывает переполнение.