LoRA为何抵抗标签噪声：面向噪声鲁棒参数高效微调的理论框架
机器学习
2026-02-03 v1
摘要
低秩适应（LoRA）等参数高效微调方法已成为适配大型预训练模型的主流范式。我们提出了一个理论框架来解释一个未被充分探索的特性：LoRA对标签噪声的内在抵抗性。我们的分析揭示了三个关键见解。首先，我们证明当样本量超过O(r(d+k-r))时，秩为r的LoRA无法记忆所有可能的标签分配，从而限制了其拟合任意噪声的能力。其次，我们推导出平衡近似偏差和噪声诱导方差的最优秩，并表明该最优秩随噪声率降低。第三，我们建立了时间分离：干净模式早期被学习，而噪声记忆发生在后期。我们提出了RACT（秩感知课程训练），利用秩差异进行噪声检测。实验验证了我们的预测，RACT在AG News上实现了91.1%的噪声检测F1值，同时保持了91.46%的准确率，与缺乏噪声检测能力的基线方法相比具有竞争力。
引用
@article{arxiv.2602.00084,
title = {Why LoRA Resists Label Noise: A Theoretical Framework for Noise-Robust Parameter-Efficient Fine-Tuning},
author = {Brady Steele},
journal= {arXiv preprint arXiv:2602.00084},
year = {2026}
}
备注
14 pages, 7 figures, 7 tables