NaRA：面向扩散型大语言模型的参数高效微调的噪声感知 LoRA
人工智能
2026-05-29 v1
摘要
扩散大语言模型（dLLMs）作为一种具有前景的非自回归生成范式，正在逐渐成为热门选择。鉴于全参数微调的计算成本高昂，参数高效微调（PEFT）已成为标准做法。然而，现有PEFT方法（如LoRA）原本为自回归模型设计，依赖对噪声水平不敏感的静态参数，导致其忽略扩散过程中固有的动态特性——在去噪轨迹上，输入分布和生成难度会发生显著变化，使其对dLLMs而言并不优化。为此，我们提出了噪声感知低秩适应（Noise-aware Low-Rank Adaptation, NaRA），其引入由轻量级、全局共享的超网络在噪声水平条件化生成的低秩核心矩阵。该设计使更新矩阵在扩散过程中实现连续变动，同时保持参数和延迟开销极小。我们对NaRA框架提供了理论依据，并通过常识推理、数学推理和代码生成基准测试，实证证明其相较于噪声不敏感基线方法始终具有一致改进。我们的代码已公开于 https://github.com/generaldi/NaRA。
引用
@article{arxiv.2605.29716,
title = {NaRA: Noise-Aware LoRA for Parameter-Efficient Fine-Tuning of Diffusion LLMs},
author = {Shuaidi Wang and Zhan Zhuang and Ruping Huang and Yu Zhang},
journal= {arXiv preprint arXiv:2605.29716},
year = {2026}
}