通过正则化对抗梯度实现神经网络的鲁棒训练
机器学习
2018-06-08 v2 机器学习
摘要
近年来，神经网络在大量应用中展现出卓越的有效性。然而，近期工作表明神经网络易受对抗样本的影响，这暗示了网络结构内在的可能缺陷。为解决此问题并提升神经网络的鲁棒性，我们研究了对抗样本背后的基本机制，并提出了一种通过调节对抗梯度实现的新颖鲁棒训练方法。该调节有效地压缩了神经网络的对抗梯度，并显著增加了对抗样本生成的难度。在不涉及任何对抗样本的情况下，该鲁棒训练方法可生成天然鲁棒的网络，其近乎免疫于各类对抗样本。实验表明，天然鲁棒网络在 MNIST、Cifar10 和 Google Speech Command 数据集上针对快速梯度符号法（Fast Gradient Sign Method, FGSM）和 C&W 攻击可达到最优准确率。此外，我们提出的方法还为神经网络提供了一致针对可迁移攻击的鲁棒性。
引用
@article{arxiv.1805.09370,
title = {Towards Robust Training of Neural Networks by Regularizing Adversarial Gradients},
author = {Fuxun Yu and Zirui Xu and Yanzhi Wang and Chenchen Liu and Xiang Chen},
journal= {arXiv preprint arXiv:1805.09370},
year = {2018}
}
备注
9 pages, 3 figures