нейрохаб.рфСправка
← Справка

Инференс

Использование уже обученной модели для получения результата: ответа, изображения, распознавания речи и других предсказаний.

На практике

Когда чат строит ответ или распознаватель превращает запись в текст, выполняется инференс. Это использование уже обученной модели, в отличие от изменения её параметров при обучении.

Что учитывать

Скорость зависит от оборудования, длины входа, размера результата и нагрузки. Быстрый первый фрагмент ответа ещё не означает быстрое завершение всей задачи.