LoRA
Метод адаптации модели с обучением небольших дополнительных матриц вместо всех её параметров. Обычно требует меньше ресурсов, чем полное дообучение.
На практике
LoRA обучает небольшие дополнительные матрицы, оставляя основную часть параметров фиксированной. Адаптер можно хранить отдельно от базовой модели и подключать при запуске.
Что учитывать
Адаптер привязан к совместимой базовой модели и выбранным слоям. Малый размер файла не означает, что обученная система сохраняет все прежние способности без изменений.