Обработка входа (prefill)
Этап инференса, на котором языковая модель обрабатывает входную последовательность перед генерацией ответа. Его длительность влияет на время до первого токена.
На практике
Перед первым выходным токеном модель обрабатывает вход и подготавливает состояние, включая KV-кэш. Длинный документ увеличивает объём этой работы.
Что учитывать
Повторное использование уже обработанного префикса может сократить время, если сервер поддерживает такой кэш. Prefill отличают от последующей генерации токенов.