探索多步上升在锐度感知最小化中的效应
机器学习
2023-02-22 v1
摘要
近期，锐度感知最小化（SAM）通过寻找平坦极小值展现了最先进的性能。为最小化参数空间中邻域内的最大损失，SAM使用上升步，其以给定半径沿梯度上升方向扰动权重。虽然上升步中可采取单步或多步，先前研究表明多步上升SAM很少改善泛化性能。然而该现象尤为有趣，因为多步上升预期能更好地近似最大邻域损失。因此，本文中我们分析上升步数的效应并探究单步上升SAM与多步上升SAM之间的差异。我们明确了上升步数对SAM优化的效应，并揭示单步上升SAM与多步上升SAM呈现不同的损失景观。基于这些观察，我们最终提出一种可缓解多步上升SAM低效性的简单修正。
引用
@article{arxiv.2302.10181,
title = {Exploring the Effect of Multi-step Ascent in Sharpness-Aware Minimization},
author = {Hoki Kim and Jinseong Park and Yujin Choi and Woojin Lee and Jaewook Lee},
journal= {arXiv preprint arXiv:2302.10181},
year = {2023}
}