llama.cpp

Инструментарий на C/C++ для запуска языковых и мультимодальных моделей. Поддерживает квантизованные веса, выполнение на CPU и GPU и серверный интерфейс API.