LightSAM：参数无关的锐度感知最小化
机器学习
2025-06-02 v1
摘要
锐度感知最小化（SAM）优化器通过权重扰动探索平坦极小值景观，从而增强机器学习模型的泛化能力。尽管在经验上取得了成功，SAM引入了一个额外的超参数——扰动半径，这导致SAM对其具有敏感性。此外，已有证明表明，为保证收敛，SAM的扰动半径和学习率受问题相关参数的约束。这些局限性表明在实际应用中需要进行参数调优。在本文中，我们提出了LightSAM算法，该算法自适应地设置SAM的扰动半径和学习率，从而扩展了SAM的应用范围。LightSAM采用三种流行的自适应优化器（包括AdaGrad-Norm、AdaGrad和Adam）来替代SGD优化器进行权重扰动和模型更新，降低了对参数的敏感性。理论结果表明，在弱假设下，LightSAM在扰动半径和学习率的任意选择下均能理想收敛，从而实现了参数无关。我们在几个深度学习任务上进行了初步实验，实验结果与理论发现共同验证了LightSAM的有效性。
引用
@article{arxiv.2505.24399,
title = {LightSAM: Parameter-Agnostic Sharpness-Aware Minimization},
author = {Yifei Cheng and Li Shen and Hao Sun and Nan Yin and Xiaochun Cao and Enhong Chen},
journal= {arXiv preprint arXiv:2505.24399},
year = {2025}
}