нейрохаб.рфСправка
← Справка

GGUF

Формат хранения моделей и метаданных, распространённый в инструментах локального запуска на основе llama.cpp.

На практике

GGUF хранит тензоры и метаданные, необходимые совместимому движку для загрузки модели. Пользователь может выбирать варианты одного набора весов с разной квантизацией.

Что учитывать

Расширение файла не гарантирует поддержку архитектуры установленной программой. Кроме формата, важны версия движка, токенизатор и способ подготовки файла.