X-SAM：通过主特征向量梯度校正提升尖锐感知最小化
机器学习
2026-01-16 v1 人工智能
摘要
尖锐感知最小化（Sharpness-Aware Minimization, SAM）旨在通过最小化模型参数邻域内最坏情况扰动损失来提高泛化性能。然而，在训练过程中，其优化行为并不总是符合理论预期，因为无论是锐区域还是平坦区域都可能导致扰动损失很小。在这种情况下，梯度仍可能指向锐区域，从而无法实现SAM的预期效果。为此，我们从谱方法和几何角度分析SAM：具体而言，我们利用梯度与 Hessian 主特征向量之间夹角作为锐度的度量。我们的分析表明，当该夹角小于或等于90度时，SAM的锐度正则化效果会被削弱。进一步，我们提出一种显式主特征向量对齐的SAM（X-SAM），通过沿最大特征向量进行正交分解来校正梯度，从而实现对 Hessian 最大特征值进行更直接且更高效的正则化。我们证明了X-SAM的收敛性及其优越的泛化性能，并通过大量实验验证了其在理论与实践中的优势。
关键词
引用
@article{arxiv.2601.10251,
title = {X-SAM: Boosting Sharpness-Aware Minimization with Dominant-Eigenvector Gradient Correction},
author = {Hongru Duan and Yongle Chen and Lei Guan},
journal= {arXiv preprint arXiv:2601.10251},
year = {2026}
}