计算高效的内部神经元重要性度量

Avanti Shrikumar; Jocelin Su; Anshul Kundaje

计算高效的内部神经元重要性度量

机器学习 2018-07-27 v1 计算机视觉与模式识别神经与进化计算机器学习

作者: Avanti Shrikumar , Jocelin Su , Anshul Kundaje

摘要

在为网络中单个神经元分配重要性的挑战上，解释深度学习模型时颇受关注。在近期工作中，Dhamdhere 等人提出了总电导（Total Conductance），作为归因内部神经元重要性的“积分梯度（Integrated Gradients）的自然精炼”。遗憾的是，作者发现，在 tensorflow 中计算电导需要添加若干自定义梯度算子且扩展性不佳。在本工作中，我们证明总电导的公式在数学上等价于在网络隐藏层上计算的路径积分梯度（Path Integrated Gradients）。我们提供了使用标准 tensorflow 梯度算子的总电导可扩展实现，称之为神经元积分梯度（Neuron Integrated Gradients）。我们将神经元积分梯度与 DeepLIFT（一种既有的、适用于计算内部神经元重要性的计算高效方法）进行比较。我们发现 DeepLIFT 产生强劲的实证结果且计算更快，但由于缺乏神经元积分梯度的理论性质，实践中未必总是首选。复现结果的 Colab 笔记本：http://bit.ly/neuronintegratedgradients

关键词

神经元重要性积分梯度总电导 DeepLIFT 模型可解释性深度学习

引用

@article{arxiv.1807.09946,
  title  = {Computationally Efficient Measures of Internal Neuron Importance},
  author = {Avanti Shrikumar and Jocelin Su and Anshul Kundaje},
  journal= {arXiv preprint arXiv:1807.09946},
  year   = {2018}
}

备注

7 pages, 2 figures

计算高效的内部神经元重要性度量

摘要

关键词

引用

备注

相关论文