黎曼流形上的锐度感知跃迁
机器学习
2025-06-10 v2 人工智能
摘要
近期研究凸显了平坦极小在增强泛化能力方面的有效性，锐度感知最小化（SAM）取得了最先进的性能。此外，对损失景观内在几何的深入认识已展现出改善模型泛化的前景。基于这些进展，我们引入一种新颖的锐度感知、几何感知跃迁机制，以进一步增强鲁棒性与泛化能力。我们方法的核心创新是将每次迭代分解为局部轨道内的跃迁步骤，以及利用黎曼商流形在不同轨道间过渡的锐度感知步骤。我们的方法立足于一个理论框架，该框架分析了在黎曼流形背景下总体损失与最坏情况经验损失之间的泛化差距。为证明方法的有效性，我们在多种数据集与黎曼流形上的不同视觉基准中评估并比较了我们的算法。
引用
@article{arxiv.2309.17215,
title = {Sharpness-Aware Teleportation on Riemannian Manifolds},
author = {Tuan Truong and Hoang-Phi Nguyen and Haocheng Luo and Tung Pham and Mehrtash Harandi and Dinh Phung and Trung Le},
journal= {arXiv preprint arXiv:2309.17215},
year = {2025}
}