KV-кэш
Сохранённые ключи и значения механизма внимания, позволяющие не пересчитывать предыдущие токены при генерации. Кэш занимает память и растёт с длиной контекста.
На практике
При последовательной генерации сохраняются уже вычисленные ключи и значения внимания. Модель использует их на следующем шаге, вместо повторного расчёта всей истории.
Что учитывать
Кэш растёт с длиной контекста и числом запросов. Поэтому память для запуска оценивают с учётом не только весов, но и ожидаемого размера диалогов.