Сервер инференса

Программа, которая загружает модель, принимает запросы и возвращает результаты вычислений через API. Модель и сервер инференса — отдельные компоненты.