ZeroGrad：缓解并解释 FGSM 对抗训练中的灾难性过拟合
机器学习
2021-03-30 v1 计算机视觉与模式识别
摘要
使深度神经网络对小的对抗扰动具有鲁棒性近来在许多应用中受到关注。通过迭代投影梯度下降（PGD）进行对抗训练已被确立为实现这一目标的主流思路之一。然而，PGD 计算开销大，在数据集和模型较大时往往难以承受。因此，单步 PGD（也称为 FGSM）近来在该领域受到关注。遗憾的是，FGSM 训练会导致一种称为“灾难性过拟合”的现象，即在 PGD 攻击下对抗精度突然下降。在本文中，我们支持这样一种观点：小的输入梯度在该现象中起着关键作用，因此提出将用于构造 FGSM 攻击的小输入梯度元素置零。我们提出的思路虽然简单高效，却在多个数据集上取得了有竞争力的对抗精度。
引用
@article{arxiv.2103.15476,
title = {ZeroGrad : Mitigating and Explaining Catastrophic Overfitting in FGSM Adversarial Training},
author = {Zeinab Golgooni and Mehrdad Saberi and Masih Eskandar and Mohammad Hossein Rohban},
journal= {arXiv preprint arXiv:2103.15476},
year = {2021}
}