提升 SAM 方法需要重新思考其优化表述
机器学习
2024-07-19 v1 机器学习
摘要
本文重新思考了 Sharpness-Aware Minimization (SAM)，该方法最初被表述为一个零和博弈，其中网络权重和受限扰动试图分别最小化/最大化相同的可微损失。在 fundamentally 改进该设计方面，我们认为 SAM 应该使用 0-1 损失进行重新表述。作为连续松弛，我们遵循简单惯用的做法，即最小化(最大化) 玩家使用 0-1 损失的上界(下界) 近似值。这导致 SAM 的一种新表述，称为 BiSAM。BiSAM 采用新设计的下界近似损失确实构建了更强的扰动。通过数值证据，我们展示，BiSAM 在比较原始 SAM 和其变体的情况下始终导致改进的性能，同时保持类似的计算复杂度。我们的代码已公开于 https://github.com/LIONS-EPFL/BiSAM。
引用
@article{arxiv.2407.12993,
title = {Improving SAM Requires Rethinking its Optimization Formulation},
author = {Wanyun Xie and Fabian Latorre and Kimon Antonakopoulos and Thomas Pethick and Volkan Cevher},
journal= {arXiv preprint arXiv:2407.12993},
year = {2024}
}
备注
International Conference on Machine Learning (ICML), 2024