LoRA-DA：基于渐近分析的数据感知低秩适配初始化
机器学习
2026-04-09 v2 人工智能
摘要
LoRA 已成为 PEFT 中广泛采用的方法，其初始化方法正受到日益关注的注意。然而，现有方法存在明显局限性：许多方法未纳入目标域数据，而梯度基方法仅通过依赖单步梯度分解在浅层层次上利用数据。在本文中，我们建立了数据感知 LoRA 初始化的理论框架。从最小化微调模型与目标模型之间参数差异的期望开始，我们推导出一个包含两个组成部分的优化问题：一个偏置项，与微调模型与目标模型之间的参数距离相关，通过 Fisher 梯度公式近似以保持各向异性；以及一个方差项，衡量通过抽样随机性引入的不确定性。解决该问题可得 LoRA 的最优初始化策略，据此我们开发了一个高效算法 LoRA-DA。跨越多个基准测试的实证结果表明，LoRA-DA 在最终准确率上 consistently 优于现有初始化方法。额外研究显示，LoRA-DA 实现更快、更稳定的收敛，跨秩鲁棒性强，且仅需极小的初始化开销。该代码将在发表后公开。
引用
@article{arxiv.2510.24561,
title = {LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis},
author = {Qingyue Zhang and Chang Chu and Tianren Peng and Qi Li and Xiangyang Luo and Zhihao Jiang and Shao-Lun Huang},
journal= {arXiv preprint arXiv:2510.24561},
year = {2026}
}