锐度感知最小化可能产生幻觉极小值
机器学习
2026-02-06 v2 最优化与控制
摘要
锐度感知最小化（SAM）被广泛用于寻找更平坦的极小值——这通常与更好的泛化能力相关。在其标准实现中，SAM 使用在沿归一化梯度方向偏移距离 的扰动点处评估的损失梯度来更新当前迭代点。我们证明，对于某些 的选择，SAM 可能停滞在偏移（扰动点）梯度消失但原始梯度非零的点处，因此它们不是原始损失的驻点。我们将这些点称为幻觉极小值，证明了在简单的非凸景观条件（例如，存在局部极小值和局部极大值）下它们的存在性，并建立了 SAM 迭代局部收敛到这些点的充分条件。我们在神经网络训练中证实了这一失败模式，并观察到它与通常在大 下出现的 SAM 性能退化相一致。最后，作为一种实用的保护措施，我们发现，在启用 SAM 之前进行短暂的初始 SGD 热启动可以缓解这一失败模式，并降低对 选择的敏感性。
引用
@article{arxiv.2509.21818,
title = {Sharpness-Aware Minimization Can Hallucinate Minimizers},
author = {Chanwoong Park and Uijeong Jang and Ernest K. Ryu and Insoon Yang},
journal= {arXiv preprint arXiv:2509.21818},
year = {2026}
}