D2-LoRA：面向差分与方向性低秩适配的协同方法

我们系统性地探讨了在实际数据和计算约束下的参数高效微调设计空间，提出D2-LoRA。D2-LoRA仅使用每个任务5k个训练样本和两个 epoch，即可在八个问答和阅读理解基准任务上实现76.4%的平均准确率，同时在推理时保持与原始权重的几乎完全数值等价性。该方法将符号低秩残差更新与增量和减量分量相结合，并引入训练时的列向投影，使每个列都接近其原始范数。训练完成后，适配器被合并到单个权重矩阵中，实现零推理延迟。与LoRA相比，D2-LoRA平均准确率提升2.2个百分点；在参数数量相当的情况下(LoRA秩2r与D2-LoRA秩r)，提升1.6个百分点，表明此改进源于架构设计而非参数增加。与DoRA相比，D2-LoRA在大多数任务上均达到或超过后者的性能。除问答和阅读理解外，D2-LoRA还改进了生成任务(ROUGE-L提升1.2，获胜率提升1.1个百分点)，训练波动降低36%。该合并保留了数值保真度(平均差距约0.03个百分点)，恢复约1.91倍的评估吞吐量。训练开销为19%，与DoRA相当，随输入序列长度增加而降低。我们提供了几何分析解释投影如何稳定训练，并通过消融实验阐明了每个设计组件的贡献。