нейрохаб.рфСофт
← Софт

llama.cpp

Инструментарий на C/C++ для запуска языковых и мультимодальных моделей. Поддерживает квантизованные веса, выполнение на CPU и GPU и серверный интерфейс API.

Доступ / лицензия
Открытый код
Название лицензии
MIT
Задачи
Инференс, Текст
Тип
Движок инференса
Цели
Локальный запуск, Разработка

Hugging Face представила Llama Windows для локальных моделей

Приложение позволяет выбрать и загрузить модель с Hub и запустить её через llama.cpp без ручной работы в терминале. Поддерживает Windows on Arm и NVIDIA RTX Spark, управляет локальным сервером и предоставляет API для других приложений. Модели работают на компьютере пользователя; первоначальная загрузка требует сети.

Версии

Версии пока не добавлены.