Семплирование (sampling)
Выбор следующего токена из распределения вероятностей модели. Настройки семплирования меняют разнообразие результатов; повторные запросы могут давать разные ответы.
На практике
На каждом шаге следующий токен выбирают случайно с учётом распределения вероятностей. Настройки могут ограничивать набор кандидатов и менять разнообразие продолжений.
Что учитывать
Повторный запрос может дать другой ответ. Для сравнения настроек фиксируют условия и проводят несколько запусков, поскольку один удачный пример мало показателен.