锐度感知最小化的动力学：跨越沟壑的弹跳与向宽极小值的漂移
机器学习
2023-04-12 v2 最优化与控制
机器学习
摘要
我们考虑锐度感知最小化（SAM），一种用于深度网络的基于梯度的优化方法，已在图像与语言预测问题上展现出性能提升。我们证明，当 SAM 应用于凸二次目标时，对大多数随机初始化，它收敛到一个在最大曲率方向上于最小值两侧振荡的循环，并给出收敛速率的界。在非二次情形，我们证明此类振荡有效地以更小步长对 Hessian 谱范数执行梯度下降。在此类情形中，SAM 的更新可视为三阶导数——即 Hessian 在主导特征向量方向上的导数——它促使向更宽极小值的漂移。
引用
@article{arxiv.2210.01513,
title = {The Dynamics of Sharpness-Aware Minimization: Bouncing Across Ravines and Drifting Towards Wide Minima},
author = {Peter L. Bartlett and Philip M. Long and Olivier Bousquet},
journal= {arXiv preprint arXiv:2210.01513},
year = {2023}
}