梯度扰动：用于自适应训练的梯度扰动学习
机器学习
2026-05-29 v1
摘要
深度神经网络训练涉及正向传播（从特征经逻辑到损失）和反向传播（从损失经梯度到参数更新）。虽然沿正向链的扰动（包括特征扰动、逻辑扰动和标签扰动）已广泛研究，但反向链的梯度扰动几乎未受系统性调查。本文建立了梯度扰动的统一框架，揭示诸如锐度感知最小化 (SAM)、梯度裁剪和梯度噪声注入等现有方法可被解释为施加特定形式的梯度扰动。类似近期提出的 Logit Perturbation Learning (LPL)，我们推断放大某一类别梯度范数作为正向增强（增强学习），而削减其作用为负向增强（抑制过拟合）。基于此，我们提出 Learning to Perturb Gradients (LPG)，通过在类别层级自适应扰动逻辑级梯度以实现类别感知训练。我们还通过 PAC-Bayesian 分析建立了梯度扰动下界与泛化保证之间的理论联系。在均衡分类、长尾分类和带噪标签学习实验中，LPG 持续优于现有方法，可作为即插即用模块与之集成。
引用
@article{arxiv.2605.29494,
title = {Gradient Perturbation: Learning to Perturb Gradients for Adaptive Training},
author = {Hua Li},
journal= {arXiv preprint arXiv:2605.29494},
year = {2026}
}