相对归因传播：解释深度神经网络中单个单元的比较贡献
计算机视觉与模式识别
2019-11-14 v4
摘要
随着深度神经网络（DNNs）在多个领域展现出超越人类的性能，人们越来越关注理解 DNNs 复杂的内部机制。本文提出相对归因传播（RAP），通过根据层间相对影响分离相关（正）与无关（负）归因的新视角，对 DNNs 的输出预测进行分解。每个神经元的相关性依据其贡献程度被识别并分离为正负两部分，同时保持守恒规则。考虑到按相对优先级分配给神经元的相关性，RAP 使每个神经元都能获得一个关于输出的双极重要性分数：从高度相关到高度无关。因此，与传统的解释方法相比，我们的方法能够通过更清晰、更具关注度的分离归因可视化来解释 DNNs。为验证 RAP 传播的归因正确解释了各自含义，我们采用了以下评估指标：（i）外部-内部相关性比，（ii）分割 mIOU 以及（iii）区域扰动。在所有实验和指标中，我们均展现出与现有文献相比的显著差距。我们的源代码可在 \url{https://github.com/wjNam/Relative_Attributing_Propagation} 获取。
引用
@article{arxiv.1904.00605,
title = {Relative Attributing Propagation: Interpreting the Comparative Contributions of Individual Units in Deep Neural Networks},
author = {Woo-Jeoung Nam and Shir Gur and Jaesik Choi and Lior Wolf and Seong-Whan Lee},
journal= {arXiv preprint arXiv:1904.00605},
year = {2019}
}
备注
8 pages, 7 figures, Accepted paper in AAAI Conference on Artificial Intelligence (AAAI), 2020