理解并改进快速对抗训练
机器学习
2020-10-27 v2 密码学与安全
计算机视觉与模式识别
机器学习
摘要
近期一系列工作聚焦于使深度学习的对抗训练在计算上高效。特别地，Wong 等人（2020）指出，使用快速梯度符号法（FGSM）的 -对抗训练可能因一种称为“灾难性过拟合”的现象而失败，即模型在单个训练轮次内迅速丧失鲁棒性。我们表明，如 Wong 等人（2020）所提议的向 FGSM 添加随机步并不能防止灾难性过拟合，且随机性本身并不重要——其主要作用仅仅是减小扰动幅度。此外，我们表明灾难性过拟合并非深度且过参数化网络所固有，而可发生于具有少量滤波器的单层卷积网络。在极端情况下，即便单个滤波器也能使网络在局部高度非线性，这正是 FGSM 训练失败的主因。基于该观察，我们提出一种新的正则化方法 GradAlign，它通过显式最大化扰动集内的梯度对齐来防止灾难性过拟合，并提升 FGSM 解的质量。因此，GradAlign 使得对更大的 -扰动也能成功应用 FGSM 训练，并缩小与多步对抗训练的差距。我们的实验代码可在 https://github.com/tml-epfl/understanding-fast-adv-training 获取。
引用
@article{arxiv.2007.02617,
title = {Understanding and Improving Fast Adversarial Training},
author = {Maksym Andriushchenko and Nicolas Flammarion},
journal= {arXiv preprint arXiv:2007.02617},
year = {2020}
}
备注
The camera-ready version (accepted at NeurIPS 2020)