随机梯度下降中噪声几何的理论分析

本文对小批量随机梯度下降（SGD）的噪声几何现象提供了理论研究，该现象指噪声与局部景观的几何结构有利对齐。我们提出了两个度量指标，源于分析噪声如何影响损失与子空间投影动力学，用以量化对齐强度。我们证明，对于（过参数化的）线性模型与两层非线性网络，当用这些度量衡量时，在对齐条件与过参数化程度无关的情况下，该对齐可被严格保证。为展示我们噪声几何刻画的作用，我们对 SGD 逃离尖锐极小值的机制给出了精细化分析。我们揭示，与沿最尖锐方向逃离的梯度下降（GD）不同，SGD 倾向于从更平坦的方向逃离，且循环学习率可利用这一 SGD 特性更有效地导向更平坦区域。最后，提供了大量实验以支持我们的理论发现。