Сервер инференса
Программа, которая загружает модель, принимает запросы и возвращает результаты вычислений через API. Модель и сервер инференса — отдельные компоненты.
На практике
Сервер загружает модель и принимает запросы от клиентов, часто через HTTP API. Он управляет очередями, параллельными запросами и выдачей ответа по частям.
Что учитывать
Совместимость API не гарантирует поддержку всех параметров клиента. Под нагрузкой также важны лимиты памяти, тайм-ауты и поведение очереди.