SGD在稳定边缘：随机锋利度间隙

在使用全批梯度下降 (GD) 且步长为 $\eta$ 时，海森矩阵最大特征值——即锋利度 $S(\boldsymbol{\theta})$——上升至 $2/\eta$ 并在此徘徊，这一现象被称为稳定边缘 (Edge of Stability, EoS)。\citet{damian2023selfstab} 证明，这一行为由第三阶损失结构驱动的自稳定机制解释，GD 隐式遵循约束 $S(\boldsymbol{\theta})\leq 2/\eta$ 的投影梯度下降 (Projected Gradient Descent, PGD)。对于小批次随机梯度下降 (SGD)，锋利度在 $2/\eta$ 以下稳定，间隙随批大小减小而扩大；然而尚不存在理论解释来说明这种抑制。我们引入随机自稳定，扩展自稳定框架至 SGD。我们的关键洞见在于，梯度噪声将方差注入沿海森矩阵最大特征向量的振荡动力学中，从而加强锋利度降低的三次力，并将平衡点移至 $2/\eta$ 以下。遵循 \citet{damian2023selfstab} 的方法，我们相对于移动投影梯度下降轨迹定义随机预测动力学，并证明随机耦合定理以界定 SGD 与这些预测之间的偏差。我们推导出闭形式平衡锋利度间隙：$\Delta S = \eta \beta \sigma_{\boldsymbol{u}}^{2}/(4\alpha)$，其中 $\alpha$ 为渐进式锋利化速率，$\beta$ 为自稳定强度，$\sigma_{\boldsymbol{u}}^{2}$ 为沿最大特征向量投影的梯度噪声方差。该公式预测更小的批大小导致更平滑的解，并在批大小等于整个数据集时恢复 GD。