正则化低秩适配的子空间冗余
计算机视觉与模式识别
2025-07-29 v1 人工智能
多媒体
摘要
低秩适配(LoRA)及其变体通过最小化可训练参数并受益于重参数化，在参数高效迁移学习(PETL)中展现了强大的能力。然而，它们的投影矩阵在训练期间保持不受限制，导致高表示冗余，并削弱了所得子空间中特征适配的有效性。虽然现有方法通过手动调整秩或隐式应用通道级掩码来缓解这一问题，但它们缺乏灵活性，并且在各种数据集和架构上泛化能力较差。因此，我们提出了ReSoRA，一种显式建模映射子空间之间冗余并自适应地正则化低秩适配子空间冗余的方法。具体来说，它在理论上将低秩子矩阵分解为多个等价子空间，并系统地对其在不同投影上的特征分布施加去冗余约束。大量实验验证，我们提出的方法在视觉-语言检索和标准视觉分类基准中，能够一致地促进现有最先进的PETL方法在各种骨干网络和数据集上的性能。此外，作为一种训练监督，ReSoRA可以以即插即用的方式无缝集成到现有方法中，且不增加推理成本。代码已公开：https://github.com/Lucenova/ReSoRA。
引用
@article{arxiv.2507.20745,
title = {Regularizing Subspace Redundancy of Low-Rank Adaptation},
author = {Yue Zhu and Haiwen Diao and Shang Gao and Jiazuo Yu and Jiawen Zhu and Yunzhi Zhuge and Shuai Hao and Xu Jia and Lu Zhang and Ying Zhang and Huchuan Lu},
journal= {arXiv preprint arXiv:2507.20745},
year = {2025}
}
备注
10 pages, 4 figures, Accepted by ACMMM2025