EMPIR：混合精度深度网络集成以增强对抗攻击鲁棒性
机器学习
2020-04-22 v1 计算机视觉与模式识别
机器学习
摘要
确保深度神经网络（DNNs）的鲁棒性对其在自动驾驶汽车、无人机和医疗等安全关键应用中的采用至关重要。值得注意的是，DNNs 易受对抗攻击，其中微小的输入扰动即可导致灾难性误分类。在本工作中，我们提出 EMPIR，即具有不同数值精度的量化 DNN 模型集成，作为一种提升对抗攻击鲁棒性的新方法。EMPIR 基于如下观察：量化神经网络常表现出比全精度网络高得多的对抗攻击鲁棒性，但代价是在原始（未扰动）输入上准确率大幅损失。EMPIR 通过将全精度与低精度模型组合为集成，克服了该局限，实现了“两全其美”，即全精度模型较高的未扰动准确率与低精度模型较高的鲁棒性相结合。此外，由于低精度 DNN 模型比全精度模型的计算和存储需求显著更低，EMPIR 模型相比单个全精度模型仅带来适度的计算和内存开销（在我们的评估中 <25%）。我们在 3 个不同图像识别任务（MNIST、CIFAR-10 和 ImageNet）的 DNN 套件上以及 4 种不同对抗攻击下评估了 EMPIR。结果表明，与单个全精度模型相比，EMPIR 在 MNIST、CIFAR-10 和 ImageNet 数据集训练的 DNN 模型上分别将平均对抗准确率提升了 42.6%、15.2% 和 10.5%，且不牺牲未扰动输入上的准确率。
引用
@article{arxiv.2004.10162,
title = {EMPIR: Ensembles of Mixed Precision Deep Networks for Increased Robustness against Adversarial Attacks},
author = {Sanchari Sen and Balaraman Ravindran and Anand Raghunathan},
journal= {arXiv preprint arXiv:2004.10162},
year = {2020}
}
备注
Published as a conference paper at ICLR 2020