关于平坦与尖锐最小值的函数中心视角

平坦最小值与改进深度神经网络的泛化能力密切相关。然而，这一联系在最近的研究中变得颇为微妙，既出现了理论反例，也出现了经验例外。本文我们重新审视锐利性在模型性能中的作用，认为锐利性更应作为函数依赖属性来理解，而非泛化能力的指示。我们进行了广泛的实证研究，包括单目标优化、synthetic非线性二分类任务以及现代图像分类任务。在单目标优化中，我们展示平坦度和锐利性相对于所学习的函数而言是相对的： equally optimal的解决方案在局部几何上表现出显著不同的特征。在synthetic非线性二分类任务中，我们表明增加决策边界的紧致性即使在模型完美泛化时也会增加锐利性，表明锐利性不能归约为记忆。最后，在大规模实验中，我们发现更尖锐的最小值往往在模型进行正则化(例如通过权重衰减、数据增强或SAM)时出现，且与更好的泛化、校准、鲁棒性和功能一致性相吻合。我们的发现表明，函数复杂度而非平坦度塑造了解的几何结构，更尖锐的最小值可能反映出更恰当的归纳偏置，呼吁对最小值几何进行函数中心的重新审视。