Генерация токенов (decode)
Этап инференса авторегрессионной модели, на котором ответ строится последовательно. Каждый новый токен зависит от уже доступного контекста.
На практике
После обработки входа авторегрессионная модель добавляет токены один за другим, используя ранее вычисленное состояние. Этот этап определяет скорость поступления продолжения ответа.
Что учитывать
Скорость зависит от длины контекста и параллельной нагрузки. Более короткий итоговый ответ может завершиться раньше даже при одинаковой скорости токенов.