通过噪声增强改善泛化能力

近期研究表明,随机梯度下降(SGD)中的噪声与泛化密切相关:较大的 SGD 噪声(若不过大)会带来更好的泛化。由于 SGD 噪声的协方差与 $\eta^2/B$ 成正比,其中 $\eta$ 为学习率、$B$ 为 SGD 的小批量大小,迄今为止 SGD 噪声一直通过调节 $\eta$ 和/或 $B$ 来控制。然而,过大的 $\eta$ 会导致训练动力学不稳定,而过小的 $B$ 会阻碍可扩展并行计算。因此,亟需开发一种在不改变 $\eta$ 和 $B$ 的情况下控制 SGD 噪声的方法。本文中,我们提出一种利用“噪声增强”实现该目标的方法,其在实践中易于实现。我们阐述了背后的理论思想,并证明噪声增强确实能改善真实数据集上的泛化。结果表明,带有噪声增强的大批量训练甚至展现出优于小批量训练的泛化能力。