vLLM

Движок серверного инференса для языковых моделей. Используется для обслуживания запросов к моделям и развёртывания собственного API.