建模 SAM 的随机微分方程：理论与洞见

我们研究 SAM（Sharpness-Aware Minimization，锐度感知最小化）优化器，其因相较更经典的随机梯度下降变体具有更优性能而近期备受关注。我们的主要贡献是推导了 SAM 及其两个变体的连续时间模型（以 SDE 形式），涵盖全批量与 mini-batch 设定。我们证明这些 SDE 是真实离散时间算法的严格近似（弱意义下，随学习率线性缩放）。利用这些模型，我们解释了 SAM 为何偏好平坦极小值而非尖锐极小值——通过表明其最小化一个具有 Hessian 相关噪声结构的隐式正则化损失。最后，我们在一些现实条件下证明 SAM 会被鞍点吸引。我们的理论结果得到详尽实验的支持。