分析深度神经网络的噪声鲁棒性
人机交互
2020-01-29 v1 机器学习
摘要
对抗样本通过对正常样本添加微小但刻意不可感知的扰动而生成，可误导深度神经网络（DNNs）做出错误预测。尽管在对抗攻击与防御方面已有大量工作，对对抗样本的细粒度理解仍然缺乏。为解决该问题，我们提出一种可视化分析方法来解释对抗样本为何被误分类。关键在于比较并分析对抗样本与正常样本的数据路径。数据路径是一组关键神经元及其连接。我们将数据路径提取表述为子集选择问题，并通过构建和训练一个神经网络来求解。我们设计了一种由数据流的网络级可视化、特征图的层级可视化和所学特征的神经元级可视化组成的多级可视化，以帮助探究对抗样本与正常样本的数据路径在预测过程中如何分叉与合并。我们进行了定量评估和案例研究，以证明所提方法在解释对抗样本误分类方面的前景。
引用
@article{arxiv.2001.09395,
title = {Analyzing the Noise Robustness of Deep Neural Networks},
author = {Kelei Cao and Mengchen Liu and Hang Su and Jing Wu and Jun Zhu and Shixia Liu},
journal= {arXiv preprint arXiv:2001.09395},
year = {2020}
}