SGD 的幂律逃逸率

随机梯度下降（SGD）在均方损失下经历复杂的乘性噪声。我们利用 SGD 噪声的这一性质，通过执行随机时间变换，推导出一个具有更简单加性噪声的随机微分方程（SDE）。使用这一形式体系，我们表明局部极小值 $\theta^*$ 与鞍点 $\theta^s$ 之间的对数损失壁垒 $\Delta\log L=\log[L(\theta^s)/L(\theta^*)]$ 决定了 SGD 从局部极小值的逃逸率，这与先前借用物理学中线性损失壁垒 $\Delta L=L(\theta^s)-L(\theta^*)$ 决定逃逸率的结果相反。我们的逃逸率公式强烈依赖于 Hessian 矩阵离群特征值的典型幅值 $h^*$ 及其数量 $n$。该结果解释了 SGD 偏好具有低有效维度的平坦极小值这一经验事实，为 SGD 的隐式偏置提供了见解。