Спекулятивное декодирование
Ускорение генерации, при котором вспомогательный механизм предлагает несколько токенов, а основная модель проверяет их. Выигрыш зависит от совпадения предложений, оборудования и реализации.
На практике
Небольшая модель предлагает несколько будущих токенов, а основная проверяет их совместно. Принятые предложения сокращают число дорогих последовательных шагов.
Что учитывать
Ускорение зависит от доли принятых токенов и затрат на помощника. Корректные алгоритмы сохраняют целевое распределение, но не всякая эвристика обладает этим свойством.