通过学习扰动半径增强锐度感知最小化
机器学习
2024-08-16 v1
摘要
锐度感知最小化（SAM）旨在通过在损失景观中搜索平坦极小值来改善模型泛化。SAM更新由计算扰动的一步和计算更新梯度的一步组成。在这两步中，扰动半径的选择对SAM的性能至关重要，但寻找合适的扰动半径具有挑战性。本文提出了一种名为LEarning the perTurbation radiuS（LETS）的双层优化框架，用于为锐度感知最小化算法学习扰动半径。具体而言，所提出的LETS方法中，上层问题旨在通过最小化训练损失与验证损失之间的平方泛化间隙来寻找良好的扰动半径，而下层问题即为SAM优化问题。此外，LETS方法可以与SAM的任何变体结合。在计算机视觉和自然语言处理中各种架构和基准数据集上的实验结果证明了所提出的LETS方法在提升SAM性能方面的有效性。
引用
@article{arxiv.2408.08222,
title = {Enhancing Sharpness-Aware Minimization by Learning Perturbation Radius},
author = {Xuehao Wang and Weisen Jiang and Shuai Fu and Yu Zhang},
journal= {arXiv preprint arXiv:2408.08222},
year = {2024}
}
备注
Accepted by ECML PKDD 2024