通过分析比较梯度与对抗激活的相对截面传播解释深度神经网络
计算机视觉与模式识别
2020-12-15 v2
摘要
深度神经网络（DNNs）清晰的透明性受限于深层层级中复杂的内部结构与非线性变换。本文中，我们提出一种新的归因方法——相对截面传播（RSP），用于完全分解输出预测，具有类判别归因与清晰对象性的特征。我们仔细重审了基于反向传播的归因方法的若干缺点，即分解 DNNs 中的权衡关系。我们将对抗因子定义为干扰寻找目标归因的元素，并以可区分的方式传播它，以克服激活神经元的非抑制本性。因此，可以在保持各归因与重要性对齐的同时，分配目标（正）与对抗（负）归因的双极相关分数。我们还提出了净化技术，通过消除冲突单元以通道归因图，防止反向传播期间目标与对抗归因相关分数间间隙的减小。因此，与常规归因方法相比，我们的方法能够以更清晰的类判别性与对激活神经元的详细阐释分解 DNNs 的预测。在验证的实验环境中，我们报告了评估结果为：（i）Pointing Game，（ii）mIoU，以及（iii）使用 PASCAL VOC 2007、MS COCO 2014 和 ImageNet 数据集的模型敏感性。结果表明，我们的方法优于现有的反向分解方法，包括独特且直观的可视化。
引用
@article{arxiv.2012.03434,
title = {Interpreting Deep Neural Networks with Relative Sectional Propagation by Analyzing Comparative Gradients and Hostile Activations},
author = {Woo-Jeoung Nam and Jaesik Choi and Seong-Whan Lee},
journal= {arXiv preprint arXiv:2012.03434},
year = {2020}
}
备注
9 pages, 8 figures, Accepted paper in AAAI Conference on Artificial Intelligence (AAAI), 2021