SRLoRA：基于重要性融合与重新初始化的低秩适应中的子空间重构
计算机视觉与模式识别
2025-05-20 v1 人工智能
机器学习
摘要
低秩适应（LoRA）是一种广泛采用的数据高效微调（PEFT）方法，通过注入两个可训练的低秩矩阵（A和B）到冻结的预训练模型中实现。虽然高效，但LoRA将更新限制在固定的低秩子空间（Delta W = BA）内，这会限制表示能力并阻碍下游性能。我们提出一种通过基于重要性融合和重新初始化实现LoRA子空间重构的新方法，即SRLoRA，在不牺牲轻量级结构的前提下增强LoRA的表达性。SRLoRA为每个LoRA对（B的某一列和相应A行）分配重要性得分，并在训练期间动态重构子空间。重要性较低的配对被融合到冻结的主干网络中，以释放容量去重新初始化沿未使用的主方向（源自预训练权重奇异值分解）的新配对。这种机制实现了子空间的持续更新和更丰富的适应，同时无需增加可训练参数的数量。我们在语言和视觉任务上评估了SRLoRA，包括GLUE基准和各种图像分类数据集。实验结果显示，SRLoRA在标准LoRA上实现了更快的收敛和更高的准确率，证明了其通用性、效率以及更广泛的PEFT应用潜力。
引用
@article{arxiv.2505.12433,
title = {SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization},
author = {Haodong Yang and Lei Wang and Md Zakir Hossain},
journal= {arXiv preprint arXiv:2505.12433},
year = {2025}
}
备注
Research report