SGD 是否寻求平坦性还是尖锐性？一个恰好可解的模型
机器学习
2026-02-06 v1 最优化与控制
机器学习
摘要
大量理论和实证工作假设，神经网络训练过程中损失景观的平坦性与其性能之间存在关联。然而，关于 SGD 在训练过程中偏好平坦解还是尖锐解的证据存在概念性相互矛盾。本文通过识别并恰好解答一个在训练过程中表现出平坦化和尖锐化行为的可解析模型，来部分但因果性地阐明 SGD 的平坦寻求行为。在该模型中，SGD训练没有对平坦性的事先偏好，只有对最小化梯度波动的偏好。这导致一个洞见：至少在该模型中，数据分布唯一决定收敛处的尖锐程度，只有当标签噪声在所有输出维度上各向同性时，才会偏好平坦最小值。当标签噪声呈各向异性时，模型则偏好尖锐解，可以根据标签噪声光谱的不平衡程度收敛到任意尖锐的解。我们在不同模型架构（如 MLP、RNN 和 transformer）中复现了这一关键洞见。
引用
@article{arxiv.2602.05065,
title = {Does SGD Seek Flatness or Sharpness? An Exactly Solvable Model},
author = {Yizhou Xu and Pierfrancesco Beneventano and Isaac Chuang and Liu Ziyin},
journal= {arXiv preprint arXiv:2602.05065},
year = {2026}
}