нейрохаб.рфСправка
← Справка

Спекулятивное декодирование

Ускорение генерации, при котором вспомогательный механизм предлагает несколько токенов, а основная модель проверяет их. Выигрыш зависит от совпадения предложений, оборудования и реализации.

На практике

Небольшая модель предлагает несколько будущих токенов, а основная проверяет их совместно. Принятые предложения сокращают число дорогих последовательных шагов.

Что учитывать

Ускорение зависит от доли принятых токенов и затрат на помощника. Корректные алгоритмы сохраняют целевое распределение, но не всякая эвристика обладает этим свойством.