CR-SAM：曲率正则化的锐度感知最小化
机器学习
2023-12-27 v2 计算机视觉与模式识别
摘要
泛化到未来未见数据的能力是深度神经网络最重要的属性之一。锐度感知最小化（SAM）旨在通过使用一步梯度上升作为近似来最小化最坏情况损失，从而提高泛化能力。然而，随着训练的进行，损失景观的非线性增加，使得一步梯度上升效果降低。另一方面，多步梯度上升将导致更高的训练成本。在本文中，我们引入归一化Hessian迹来精确测量训练集和测试集上损失景观的曲率。特别是，为了对抗损失景观的过度非线性，我们提出了曲率正则化SAM（CR-SAM），将归一化Hessian迹作为SAM正则化器。此外，我们提出了一种通过有限差分并行计算迹的高效方法。我们基于PAC-Bayes界的理论分析确立了该正则化器在减少泛化误差方面的有效性。在CIFAR和ImageNet数据集上的实证评估表明，CR-SAM在各种数据集上一致地提高了ResNet和Vision Transformer（ViT）模型的分类性能。我们的代码可在https://github.com/TrustAIoT/CR-SAM获取。
引用
@article{arxiv.2312.13555,
title = {CR-SAM: Curvature Regularized Sharpness-Aware Minimization},
author = {Tao Wu and Tie Luo and Donald C. Wunsch},
journal= {arXiv preprint arXiv:2312.13555},
year = {2023}
}
备注
AAAI 2024, main track. Code available on Github. Appendix is also included in this updated version