基于几何感知的锋利性最小化之旅
机器学习
2026-05-18 v1 人工智能
摘要
锋利性感知最小化(SAM)通过对参数在高损失曲率方向上的扰动来鼓励平坦最小值，但将所有参数方向统一处理，忽略了损失的底层几何结构。我们引入LLQR+SAM，将SAM与来自最近提出的LLQR框架所获得的学习预条件器相结合，后者将最陡下降重新表述为层次线性-二次调节器问题。该预条件器稀疏更新并维持为慢速指数移动平均，从而捕获损失景观几何的平滑、低分辨率图景。SAM扰动随后在此所学几何之上进行操作，在更快的时刻尺度上探测曲率。我们表明，该两时刻尺度结构不仅是计算便利：从理论上讲，预条件器放大了在平均几何下平坦但局部锋利(坑洼)方向上的SAM逃逸信号。相比之下，宽广平坦的盆地保持稳定。实证结果表明，LLQR+SAM在标准视觉和序列建模基准测试中均优于SAM和LLQR单独使用，支持慢学习几何与快速锋利性校正在实际中是真正互补的。
引用
@article{arxiv.2605.16134,
title = {Navigating Potholes with Geometry-Aware Sharpness Minimization},
author = {Simon Dufort-Labbé and Mehrab Hamidi and Razvan Pascanu and Ioannis Mitliagkas and Damien Scieur and Aristide Baratin},
journal= {arXiv preprint arXiv:2605.16134},
year = {2026}
}