QLoRA
Способ экономного дообучения: базовые веса хранятся в 4-битном виде и остаются замороженными, а обучаются адаптеры LoRA. Снижает требования к памяти.
На практике
QLoRA сочетает низкоразрядное хранение базовой модели с обучением LoRA-адаптеров. Основные веса остаются замороженными, что сокращает требования к памяти при адаптации.
Что учитывать
Память всё равно нужна для активаций и обучаемых параметров. Поддержка метода зависит от оборудования и библиотек, а результат оценивают после подключения адаптера к правильной базе.