显式特征值正则化改进锐度感知最小化
机器学习
2025-01-23 v1 计算机视觉与模式识别
摘要
锐度感知最小化（SAM）因其在 various 任务中提高泛化性能而引起广泛关注，但其背后的原理仍不为人所理解。在本工作中，我们使用 Hessian 最大特征值作为锐度的度量，对 SAM 的训练动力学进行分析，并提出一种第三阶随机微分方程（SDE），揭示了动力学是由二阶与三阶项共同驱动的。我们表明，扰动向量与顶特征向量的对齐对于 SAM 正则化锐度效果至关重要，但发现实际操作中这种对齐往往不足，限制了 SAM 的效率。基于这些洞见，我们引入 Eigen-SAM 算法，通过显式对齐扰动向量与主特征向量来正则化 Hessian 最大特征值。我们通过大量实验验证了理论的有效性以及我们方法的实际优势。代码已公开于 https://github.com/RitianLuo/EigenSAM。
关键词
引用
@article{arxiv.2501.12666,
title = {Explicit Eigenvalue Regularization Improves Sharpness-Aware Minimization},
author = {Haocheng Luo and Tuan Truong and Tung Pham and Mehrtash Harandi and Dinh Phung and Trung Le},
journal= {arXiv preprint arXiv:2501.12666},
year = {2025}
}