FGSM 对抗训练的妙招集
计算机视觉与模式识别
2022-09-07 v1
摘要
使用快速梯度符号法（FGSM）生成的样本进行对抗训练（AT），亦称 FGSM-AT，是一种计算简单的训练鲁棒网络的方法。然而，在其训练过程中，arXiv:2001.03994 [cs.LG] 中指出了一种“灾难性过拟合”的不稳定模式，即鲁棒准确率在单个训练步内骤降至零。现有方法使用梯度正则化器或随机初始化技巧来缓解此问题，但它们要么计算成本高，要么导致较低的鲁棒准确率。在本工作中，我们提供了首项研究，从数据初始化、网络结构与优化三个角度彻底考察了一系列技巧，以克服 FGSM-AT 中的灾难性过拟合。令人惊讶的是，我们发现简单技巧，即 a) 掩蔽部分像素（即使无随机性），b) 设置较大卷积步长与平滑激活函数，或 c) 正则化第一卷积层的权重，均可有效解决过拟合问题。在一系列网络架构上的广泛结果验证了各提出技巧的有效性，并且也研究了技巧的组合。例如，在 CIFAR-10 上使用 PreActResNet-18 训练，我们的方法针对 PGD-50 攻击方达到 49.8% 准确率，针对 AutoAttack 达到 46.4% 准确率，表明纯 FGSM-AT 能够催生鲁棒学习器。代码与模型公开于 https://github.com/UCSC-VLAA/Bag-of-Tricks-for-FGSM-AT。
引用
@article{arxiv.2209.02684,
title = {Bag of Tricks for FGSM Adversarial Training},
author = {Zichao Li and Li Liu and Zeyu Wang and Yuyin Zhou and Cihang Xie},
journal= {arXiv preprint arXiv:2209.02684},
year = {2022}
}