归一化层即是锐度感知最小化所需的一切
机器学习
2023-11-20 v2 计算机视觉与模式识别
摘要
锐度感知最小化（SAM）被提出用于降低极小值的锐度，并已被证明能在多种设定下提升泛化性能。在本工作中，我们表明在 SAM 的对抗步骤中仅扰动仿射归一化参数（通常占总参数的 0.1%）即可优于扰动所有参数。这一发现可推广至不同 SAM 变体以及 ResNet（批归一化）和 Vision Transformer（层归一化）架构。我们考虑了其他稀疏扰动方法，发现它们在如此极端的稀疏度下无法取得类似性能提升，表明该行为唯归一化层独有。尽管我们的发现重申了 SAM 在改善泛化性能上的有效性，但它们令人生疑：这是否仅由锐度降低所致。
引用
@article{arxiv.2306.04226,
title = {Normalization Layers Are All That Sharpness-Aware Minimization Needs},
author = {Maximilian Mueller and Tiffany Vlaar and David Rolnick and Matthias Hein},
journal= {arXiv preprint arXiv:2306.04226},
year = {2023}
}
备注
camera ready version