нейрохаб.рфСправка
← Справка

KV-кэш

Сохранённые ключи и значения механизма внимания, позволяющие не пересчитывать предыдущие токены при генерации. Кэш занимает память и растёт с длиной контекста.

На практике

При последовательной генерации сохраняются уже вычисленные ключи и значения внимания. Модель использует их на следующем шаге, вместо повторного расчёта всей истории.

Что учитывать

Кэш растёт с длиной контекста и числом запросов. Поэтому память для запуска оценивают с учётом не только весов, но и ожидаемого размера диалогов.