将锐度感知最小化重新视为变分推断
机器学习
2022-10-20 v1 机器学习
摘要
锐度感知最小化（SAM）旨在通过寻找平坦极小值来改进基于梯度的学习的泛化能力。本文中，我们建立了 SAM 与神经网络参数的平均场变分推断（MFVI）之间的联系。我们表明，这两种方法均可解释为对平坦性度量的优化，且在使用重参数化技巧时，都归结为在当前均值参数的扰动版本处计算梯度。这一思路促使我们研究结合或插值 SAM 与 MFVI 的算法。我们在若干基准数据集上评估了所提出的变分算法，并将其性能与 SAM 的变体进行比较。从更广阔的视角看，我们的工作表明类 SAM 更新可作为重参数化技巧的直接替代。
引用
@article{arxiv.2210.10452,
title = {Rethinking Sharpness-Aware Minimization as Variational Inference},
author = {Szilvia Ujváry and Zsigmond Telek and Anna Kerekes and Anna Mészáros and Ferenc Huszár},
journal= {arXiv preprint arXiv:2210.10452},
year = {2022}
}