从参数冗余视角重新审视LoRA：频谱编码的助益
机器学习
2025-06-23 v1
摘要
低秩自适应已成为微调大型基础模型的主流技术。尽管取得了成功，但大量的参数冗余限制了LoRA的容量和效率，这已被视为一个瓶颈。在这项工作中，我们系统地研究了微调LoRA时冗余的影响，并揭示了减少密度冗余不会降低表达能力。基于这一见解，我们引入了频谱编码低秩自适应，它利用频谱基的鲁棒表达能力从稀疏频谱子空间重新参数化LoRA。SeLoRA设计简洁，能够无缝集成到各种LoRA变体中以提升性能，作为一个可扩展的即插即用框架。大量实验证明，SeLoRA以更少的参数实现了更高的效率，在包括常识推理、数学推理和代码生成在内的多种下游任务上，相较于强基线取得了更优的性能提升。
引用
@article{arxiv.2506.16787,
title = {Revisiting LoRA through the Lens of Parameter Redundancy: Spectral Encoding Helps},
author = {Jiashun Cheng and Aochuan Chen and Nuo Chen and Ziqi Gao and Yuhan Li and Jia Li and Fugee Tsung},
journal= {arXiv preprint arXiv:2506.16787},
year = {2025}
}
备注
18 pages; Accepted to ACL 2025 Findings