нейрохаб.рфСправка
← Справка

QLoRA

Способ экономного дообучения: базовые веса хранятся в 4-битном виде и остаются замороженными, а обучаются адаптеры LoRA. Снижает требования к памяти.

На практике

QLoRA сочетает низкоразрядное хранение базовой модели с обучением LoRA-адаптеров. Основные веса остаются замороженными, что сокращает требования к памяти при адаптации.

Что учитывать

Память всё равно нужна для активаций и обучаемых параметров. Поддержка метода зависит от оборудования и библиотек, а результат оценивают после подключения адаптера к правильной базе.