RepLoRA：从专家混合视角重参数化低秩适应
机器学习
2025-06-10 v2
摘要
低秩适应（LoRA）已成为微调大规模基础模型的一种强大方法。尽管 LoRA 广受欢迎，但对其的理论理解仍然有限。本文通过考察 LoRA 与专家混合（Mixture of Experts）模型的联系，对其进行了理论分析。在此框架下，我们证明了对 LoRA 矩阵进行简单的重参数化可以显著加速低秩矩阵估计过程。特别地，我们证明了重参数化可以将达到期望估计误差所需的数据量从指数级降至多项式级。受此洞察启发，我们提出了重参数化低秩适应（RepLoRA），该方法结合了轻量级 MLP 来重参数化 LoRA 矩阵。跨多个领域的大量实验表明，RepLoRA 始终优于普通 LoRA。值得注意的是，在数据有限的情况下，RepLoRA 的性能优势高达 40.0%，并且仅需 30.0% 的训练数据即可达到 LoRA 的性能，这突显了我们 PEFT 方法在理论和实证上的稳健性。
引用
@article{arxiv.2502.03044,
title = {RepLoRA: Reparameterizing Low-Rank Adaptation via the Perspective of Mixture of Experts},
author = {Tuan Truong and Chau Nguyen and Huy Nguyen and Minh Le and Trung Le and Nhat Ho},
journal= {arXiv preprint arXiv:2502.03044},
year = {2025}
}
备注
ICML 2025 (Poster)