重访随机梯度下降的噪声模型

随机梯度噪声（SGN）是随机梯度下降（SGD）取得成功的重要因素。根据中心极限定理，SGN 最初被建模为高斯分布，近来有研究提出随机梯度噪声更适合用 $S\alpha S$ Lévy 分布来刻画。这一主张据称已被反驳并回归到先前提出的高斯噪声模型。本文给出了坚实、详尽的实证证据，表明 SGN 具有重尾特性，且能更好地由 $S\alpha S$ 分布描述。此外，我们认为深度神经网络（DNN）中不同参数在训练过程中具有各异的 SGN 特征。为了更精确地近似局部极小值附近 SGD 的动力学，我们在 $\mathbb{R}^N$ 中基于 Lévy 驱动的随机微分方程（SDE）构建了一个新框架，其中用一维 Lévy 过程对 DNN 中的每个参数建模。接着，我们表明 SGN 跳跃强度（频率和幅度）依赖于学习率衰减机制（LRdecay）；此外，我们通过实证证明 LRdecay 效应可能源于 SGN 的减小而非步长的缩短。基于我们的分析，我们考察了 DNN 在局部极小值附近的的平均逃逸时间、俘获概率及更多性质。最后，我们证明训练过程很可能沿着具有更重尾 SGN 的参数方向退出势阱。我们将分享代码以保证可复现性。