нейрохаб.рфСправка
← Справка

Top-k

Ограничение выбора k наиболее вероятными токенами на текущем шаге генерации. В отличие от top-p задаёт число кандидатов, а не порог суммарной вероятности.

На практике

На каждом шаге оставляют k наиболее вероятных токенов и выбирают среди них. Например, при k = 10 доступны только десять лидирующих кандидатов текущего распределения.

Что учитывать

Фиксированное число кандидатов не учитывает, насколько распределение уверенное. Параметр имеет смысл в тех реализациях генерации, которые его поддерживают.