通过对抗噪声传播训练鲁棒深度神经网络
机器学习
2020-12-24 v2 计算机视觉与模式识别
摘要
在实践中，深度神经网络被发现易受各种类型噪声的影响，例如对抗样本和腐蚀。相应地，已开发出多种对抗防御方法来提高深度模型的对抗鲁棒性。然而，仅在混合了对抗样本的数据上训练，这些模型中的大多数仍无法防御广义类型的噪声。受隐藏层在维持鲁棒模型中起至关重要作用的启发，本文提出一种简单而强大的训练算法，名为“对抗噪声传播”（ANP），该算法以逐层方式向隐藏层注入噪声。ANP 可通过利用反向-前向训练风格的性质高效实现。通过深入探究，我们确定不同隐藏层对模型鲁棒性和干净准确率的贡献不同，而浅层相对比深层更为关键。此外，我们的框架可轻松与其他对抗训练方法结合，通过挖掘隐藏层的潜力进一步提高模型鲁棒性。在 MNIST、CIFAR-10、CIFAR-10-C、CIFAR-10-P 和 ImageNet 上的大量实验表明，ANP 使深度模型对对抗样本和腐蚀样本均具有强鲁棒性，并且显著优于多种对抗防御方法。
引用
@article{arxiv.1909.09034,
title = {Training Robust Deep Neural Networks via Adversarial Noise Propagation},
author = {Aishan Liu and Xianglong Liu and Chongzhi Zhang and Hang Yu and Qiang Liu and Dacheng Tao},
journal= {arXiv preprint arXiv:1909.09034},
year = {2020}
}
备注
14 pages