llama.cpp
Инструментарий на C/C++ для запуска языковых и мультимодальных моделей. Поддерживает квантизованные веса, выполнение на CPU и GPU и серверный интерфейс API.
- Доступ / лицензия
- Открытый код
- Название лицензии
- MIT
- Задачи
- Инференс, Текст
- Тип
- Движок инференса
- Цели
- Локальный запуск, Разработка
Hugging Face представила Llama Windows для локальных моделей
Приложение позволяет выбрать и загрузить модель с Hub и запустить её через llama.cpp без ручной работы в терминале. Поддерживает Windows on Arm и NVIDIA RTX Spark, управляет локальным сервером и предоставляет API для других приложений. Модели работают на компьютере пользователя; первоначальная загрузка требует сети.
Версии
Версии пока не добавлены.