快即优于免费：重新审视对抗训练
机器学习
2020-01-14 v1 机器学习
摘要
对抗训练是一种学习鲁棒深度网络的方法，通常被认为比传统训练更昂贵，因为必须通过投影梯度下降（PGD）等一阶方法构造对抗样本。在本文中，我们做出了一个令人惊讶的发现：可以使用更弱且更廉价的对手来训练具有经验鲁棒性的模型，这种方法此前被认为无效，从而使得该方法在实践中不再比标准训练更耗费成本。具体而言，我们表明，采用快速梯度符号法（FGSM）并结合随机初始化的对抗训练，与基于 PGD 的训练同样有效，但成本显著降低。此外，我们表明 FGSM 对抗训练可以通过使用训练深度网络的高效标准技术进一步加速，使我们能够在 6 分钟内学习到对 的 PGD 攻击具有 45% 鲁棒准确率的鲁棒 CIFAR10 分类器，并在 12 小时内学习到对 具有 43% 鲁棒准确率的鲁棒 ImageNet 分类器，而此前基于“免费”对抗训练的工作分别需要 10 和 50 小时才能达到相同的阈值。最后，我们指出了一种称为“灾难性过拟合”的失败模式，它可能导致先前使用 FGSM 对抗训练的尝试失败。本文中所有用于复现实验的代码以及预训练模型权重均位于 https://github.com/locuslab/fast_adversarial。
引用
@article{arxiv.2001.03994,
title = {Fast is better than free: Revisiting adversarial training},
author = {Eric Wong and Leslie Rice and J. Zico Kolter},
journal= {arXiv preprint arXiv:2001.03994},
year = {2020}
}