GGUF
Формат хранения моделей и метаданных, распространённый в инструментах локального запуска на основе llama.cpp.
На практике
GGUF хранит тензоры и метаданные, необходимые совместимому движку для загрузки модели. Пользователь может выбирать варианты одного набора весов с разной квантизацией.
Что учитывать
Расширение файла не гарантирует поддержку архитектуры установленной программой. Кроме формата, важны версия движка, токенизатор и способ подготовки файла.