面向基于单步攻击的快速鲁棒对抗训练
机器学习
2020-03-18 v4 机器学习
摘要
对抗训练是提高神经网络抵御对抗攻击鲁棒性最成功的经验性方法。然而，最有效的一些方法，如基于投影梯度下降（PGD）的训练，伴随着较高的计算复杂度。在本文中，我们提出两个相结合的思想，使得可使用计算代价较低的快速梯度符号法（FGSM）进行对抗训练。首先，我们在 FGSM 攻击的初始数据点添加均匀噪声，这创造了更多样的对抗样本，从而防止对某一特定扰动边界的过拟合。此外，我们在神经网络之前添加一个可学习的正则化步骤，称之为逐像素噪声注入层（PNIL）。通过 PNIL 传播的输入从学习到的高斯分布中重采样。PNIL 引入的正则化阻止模型学会掩盖其梯度，这一因素曾阻碍先前方法成功将单步方法用于对抗训练。我们表明，噪声注入结合基于 FGSM 的对抗训练取得了与基于 PGD 的对抗训练相当的结果，同时速度快得多。此外，我们通过结合噪声注入与 PNIL 超越了基于 PGD 的对抗训练。
引用
@article{arxiv.2002.10097,
title = {Towards Rapid and Robust Adversarial Training with One-Step Attacks},
author = {Leo Schwinn and René Raab and Björn Eskofier},
journal= {arXiv preprint arXiv:2002.10097},
year = {2020}
}
备注
16 pages, 5 figures