Dual LoRA：通过幅度与方向更新增强 LoRA
计算与语言
2026-01-05 v4
摘要
低秩适应（LoRA）是参数高效微调（PEFT）方法中最流行的方法之一，用于将预训练大型语言模型（LLM）适应特定下游任务。然而，基于 LoRA 训练的模型往往由于低秩假设而表现不佳。本文提出一种名为 Dual LoRA 的新方法，通过纳入归纳偏差来提高性能。具体而言，我们将低秩矩阵分为两个组：一个用于控制是否以及如何更新参数的幅度组，另一个用于决定参数应向前或向后移动的方向组，以更好地模拟基于梯度基于优化算法的完整微调的参数更新过程。我们展示，这可以通过为幅度组添加 ReLU 函数、为方向组添加 sign 函数来简单实现。我们在 RoBERTa、DeBERTa 和 LLaMA-1/2/3 作为基线模型的广泛 NLP 任务上进行了实验，包括自然语言理解（NLU）和常识推理数据集。结果表明，我们在相同可训练参数数量下，持续优于 LoRA 和其最新变体。
引用
@article{arxiv.2512.03402,
title = {Dual LoRA: Enhancing LoRA with Magnitude and Direction Updates},
author = {Yixing Xu and Chao Li and Xuanwu Yin and Spandan Tiwari and Dong Li and Ashish Sirasao and Emad Barsoum},
journal= {arXiv preprint arXiv:2512.03402},
year = {2026}
}