标签噪声梯度下降如何在低信噪比 regime 中提高 generalizations
机器学习
2025-10-21 v1
摘要
深度学习模型的容量通常足够大，既能学习 underlying 统计信号，又会对训练集中的噪声进行记忆。这种噪声记忆在信噪比（SNR）较低的数据上尤其有害，导致泛化性能差。鼓励的是观察到标签噪声提供隐式正则化，可提高泛化性能。本文我们考察 whether 在低 SNR 环境下引入标签噪声到梯度更新中，是否可以增强神经网络（NN）的测试性能。具体而言，我们考虑在理想化的 signal-noise 数据设置下，使用简单标签噪声梯度下降（label noise gradient descent, GD）训练一个双层 NN。我们证明，在训练过程中引入标签噪声可抑制噪声记忆，防止其支配学习过程；因此，标签噪声 GD 能够实现快速的信号增长，同时保持对过拟合的控制，从而在低 SNR 条件下实现良好的泛化。相比之下，我们还表明，在相同的低 SNR 环境中使用标准 GD 的 NN 倾向于对噪声过拟合，并建立了一个 non-vanishing 的 test error 下界，表明在梯度化训练中引入标签噪声的好处。
引用
@article{arxiv.2510.17526,
title = {How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime?},
author = {Wei Huang and Andi Han and Yujin Song and Yilan Chen and Denny Wu and Difan Zou and Taiji Suzuki},
journal= {arXiv preprint arXiv:2510.17526},
year = {2025}
}
备注
40 pages