基于正则化项的鲁棒单步对抗训练

由多步对抗样本生成引起的高训练时间成本是对抗训练中的主要挑战。先前的方法尝试使用单步对抗样本生成方案来降低对抗训练的计算负担，这能有效提高效率但也引入了灾难性过拟合问题，即针对快速梯度符号法（FGSM）的鲁棒准确率可达到接近 100%，而针对投影梯度下降（PGD）的鲁棒准确率在单个 epoch 内突然降至 0%。为解决该问题，我们提出了一种带 PGD 正则化的快速梯度符号法（FGSMPR），以在无灾难性过拟合的情况下提升对抗训练效率。我们的核心思想是单步对抗训练无法学习 FGSM 与 PGD 对抗样本的鲁棒内部表示。因此，我们设计了一个 PGD 正则化项来鼓励 FGSM 与 PGD 对抗样本的相似嵌入。实验表明，我们提出的方法可用 FGSM 对抗训练为 L$_\infty$ 扰动训练出鲁棒深度网络，并缩小与多步对抗训练的差距。