FAM：相对平坦度感知最小化
机器学习
2023-07-06 v1
摘要
手头模型处损失曲线的平坦度已被经验证明与其泛化能力相关。优化平坦度早在 1994 年由 Hochreiter 和 Schmidthuber 提出，其后出现了更近期的成功锐度感知优化技术。然而它们在实践中的广泛采用令人怀疑，因为缺乏平坦度与泛化之间理论依据的联系，特别是考虑到重参数化诅咒——神经网络的某些重参数化改变了大多数平坦度度量却不改变泛化。近期理论工作表明，一种特定的相对平坦度度量可与泛化相关联并解决重参数化诅咒。在本文中，我们推导出一种基于该相对平坦度的正则化器，其易于计算、快速、高效，且适用于任意损失函数。它仅需计算网络单层的 Hessian，这使其可应用于大型神经网络，并由此避免对模型附近损失面的昂贵映射。在广泛的实证评估中，我们表明这种相对平坦度感知最小化(FAM)在众多应用与模型中提升了泛化，无论是在微调还是标准训练中。我们在 github 上公开了代码。
引用
@article{arxiv.2307.02337,
title = {FAM: Relative Flatness Aware Minimization},
author = {Linara Adilova and Amr Abourayya and Jianning Li and Amin Dada and Henning Petzka and Jan Egger and Jens Kleesiek and Michael Kamp},
journal= {arXiv preprint arXiv:2307.02337},
year = {2023}
}
备注
Proceedings of the 2nd Annual Workshop on Topology, Algebra, and Geometry in Machine Learning (TAG-ML) at the 40 th International Conference on Machine Learning, Honolulu, Hawaii, USA. 2023