Top-k
Ограничение выбора k наиболее вероятными токенами на текущем шаге генерации. В отличие от top-p задаёт число кандидатов, а не порог суммарной вероятности.
На практике
На каждом шаге оставляют k наиболее вероятных токенов и выбирают среди них. Например, при k = 10 доступны только десять лидирующих кандидатов текущего распределения.
Что учитывать
Фиксированное число кандидатов не учитывает, насколько распределение уверенное. Параметр имеет смысл в тех реализациях генерации, которые его поддерживают.