超越低秩微调：基于模型先验的秩分配以提升低数据和大间隔情景下的迁移效果
计算机视觉与模式识别
2025-07-02 v1
摘要
低秩适应（LoRA）在 various tasks 中已证明有效，能够在保持与完全微调基础模型相当性能的同时降低计算成本。然而，其固定的低秩结构限制了其在数据不足且领域间差距显著的情景下的适应性，此时通常需要更高的秩来捕捉领域特定的复杂性。当前的自适应LoRA方法试图通过动态扩展或选择性分配秩来克服这一限制，但这些方法常常依赖于迭代剪枝、秩搜索或额外正则化等计算密集型技术。为此，我们引入了基于稳定秩的低秩适应框架（Stable Rank-Guided Low-Rank Adaptation, SR-LoRA），该框架利用预训练权重矩阵的稳定秩作为图层级秩分配的自然先验。通过利用稳定秩——即反映权重内在维度的量——SR-LoRA实现了沿图层的秩的原则性且高效的重新分配，从而在不增加额外搜索成本的前提下提升了适应性。在具有显著领域间隔的few-shot任务上的经验评估表明，SR-LoRA consistently优于最新的自适应LoRA变体，在性能与效率之间实现了更优越的权衡。我们的代码可在 https://github.com/EndoluminalSurgicalVision-IMR/SR-LoRA 查阅。
引用
@article{arxiv.2507.00327,
title = {Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes},
author = {Chuyan Zhang and Kefan Wang and Yun Gu},
journal= {arXiv preprint arXiv:2507.00327},
year = {2025}
}
备注
Accepted by ICCV 2025