K-SAM：以SGD的速度实现锐度感知最小化
机器学习
2022-10-25 v1 计算机视觉与模式识别
摘要
锐度感知最小化（Sharpness-Aware Minimization, SAM）近来已成为一种提升深度神经网络准确率的鲁棒技术。然而，SAM在实践中计算代价高昂，所需计算量可达普通SGD的两倍。SAM带来的计算挑战源于其每次迭代均需 ascent 与 descent 两步，从而需要双倍的梯度计算。为应对该挑战，我们提出仅在损失最高的前k个样本上计算SAM两个阶段中的梯度。K-SAM简单且极易实现，同时以极少甚至零额外代价显著优于普通SGD的泛化表现。
引用
@article{arxiv.2210.12864,
title = {K-SAM: Sharpness-Aware Minimization at the Speed of SGD},
author = {Renkun Ni and Ping-yeh Chiang and Jonas Geiping and Micah Goldblum and Andrew Gordon Wilson and Tom Goldstein},
journal= {arXiv preprint arXiv:2210.12864},
year = {2022}
}
备注
13 pages, 2 figures