LoRA 变体的统一研究：分类、综述、代码库与实证评估
机器学习
2026-02-02 v1 计算与语言
摘要
低秩适配（Low-Rank Adaptation, LoRA）是一种平衡大规模神经网络效率与性能的基础参数高效微调方法。然而，LoRA 变体的不断涌现导致方法论、理论、代码及评估方面出现碎片化。为此，本文首次对 LoRA 变体进行统一研究，提供系统化的分类体系、统一的理论综述、结构化的代码库以及标准化的实证评估。首先，我们沿着四个主要维度对 LoRA 变体进行分类：秩秩、优化动力学、初始化方式以及与 Mixture-of-Experts 的集成。随后，我们在聚焦低秩更新动力学的统一理论框架下，审阅这些变体之间的关系与演化。进一步，我们引入 LoRAFactory，一个通过统一接口实现变体模块化的 codebase，支持即插即用实验和细粒度分析。最后，借助该 codebase，我们在自然语言生成、自然语言理解和图像分类任务上进行大规模评估，系统探索关键超参数。我们的结果揭示了若干发现，尤其是 LoRA 及其变体对学习率的选择高度敏感，优于其他超参数；此外，经过恰当的超参数配置，LoRA 能稳定地匹配或超越大多数变体的性能。
引用
@article{arxiv.2601.22708,
title = {A Unified Study of LoRA Variants: Taxonomy, Review, Codebase, and Empirical Evaluation},
author = {Haonan He and Jingqi Ye and Minglei Li and Zhengbo Wang and Tao Chen and Lei Bai and Peng Ye},
journal= {arXiv preprint arXiv:2601.22708},
year = {2026}
}
备注
Submitted to IEEE Transactions on Pattern Analysis and Machine Intelligence, Under Review