KV-кэш

Сохранённые ключи и значения механизма внимания, позволяющие не пересчитывать предыдущие токены при генерации. Кэш занимает память и растёт с длиной контекста.