Инференс
Использование уже обученной модели для получения результата: ответа, изображения, распознавания речи и других предсказаний.
На практике
Когда чат строит ответ или распознаватель превращает запись в текст, выполняется инференс. Это использование уже обученной модели, в отличие от изменения её параметров при обучении.
Что учитывать
Скорость зависит от оборудования, длины входа, размера результата и нагрузки. Быстрый первый фрагмент ответа ещё не означает быстрое завершение всей задачи.