ASAM：用于深度神经网络尺度不变学习的自适应锐度感知最小化
机器学习
2021-06-30 v3 机器学习
摘要
近来，以损失曲面锐度作为泛化差距有效度量的学习算法展现了最先进的性能。然而，在固定半径的刚性区域中定义的锐度，对参数重标度（其不影响损失）存在敏感性缺陷，导致锐度与泛化差距之间联系的削弱。本文中，我们引入尺度不变的适应锐度概念，并提出相应的泛化界。我们提出一种利用所提泛化界的新学习方法——自适应锐度感知最小化（ASAM）。在多个基准数据集上的实验结果表明，ASAM 显著提升了模型的泛化性能。
引用
@article{arxiv.2102.11600,
title = {ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks},
author = {Jungmin Kwon and Jeongseop Kim and Hyunseo Park and In Kwon Choi},
journal= {arXiv preprint arXiv:2102.11600},
year = {2021}
}
备注
13 pages, 4 figures, To be published in ICML 2021