DoRAN：通过噪声注入与辅助网络稳定权重分解低秩适配
机器学习
2026-02-09 v2 计算机视觉与模式识别
摘要
参数高效微调 (PEFT) 方法已成为大规模模型适应的标准范式。在这些技术中，Weight-Decomposed Low-Rank Adaptation (DoRA) 通过显式分解预训练权重为幅值和方向分量，显示出提高 Low-Rank Adaptation (LoRA) 方法学习容量和训练稳定性的优势。在本工作中，我们提出 DoRAN，一种旨在稳定训练并提升样本效率的新技术。我们的框架引入了两个关键组件：(i) 将可学习噪声注入 DoRA 权重分解的分母中，用作自适应正则化器以缓解不稳定性并提高低秩矩阵估计率；(ii) 用产生动态低秩矩阵的辅助网络取代静态低秩矩阵，实现查询矩阵和值投影矩阵之间的参数耦合，从而在理论和实证上实现更好的样本效率。广泛的视觉和语言基准实验表明，DoRAN 持续地超过 LoRA、DoRA 和其他 PEFT 基线，凸显了将基于噪声的正则化与基于网络的参数生成相结合的有效性。
引用
@article{arxiv.2510.04331,
title = {DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks},
author = {Nghiem T. Diep and Hien Dang and Tuan Truong and Tan Dinh and Huy Nguyen and Nhat Ho},
journal= {arXiv preprint arXiv:2510.04331},
year = {2026}
}
备注
Nghiem T. Diep, Hien Dang, and Tuan Truong contributed equally to this work