中文

深度泰勒分解的严谨研究

机器学习 2022-11-17 v1 人工智能 机器学习

摘要

显著性方法试图通过突出样本中最显著的特征来解释深度神经网络。一些广泛使用的方法基于称为深度泰勒分解(DTD)的理论框架,该框架将泰勒定理对网络层的递归应用形式化。然而,近期工作发现这些方法与网络的更深层无关,且似乎仅对较低层次的图像结构作出响应。在此,我们研究DTD理论以更好地理解这一令人困惑的行为,发现当泰勒根点(用户选择的算法重要参数)局部为常数时,深度泰勒分解等价于基本的梯度×\times输入方法。如果根点局部依赖于输入,则可以证明任意解释都是合理的。在这种情况下,该理论是欠约束的。在实证评估中,我们发现DTD根点并不与输入处于相同的线性区域——这与泰勒定理的基本假设相反。DTD的理论基础被引证为解释可靠性的来源。然而,我们的发现敦促人们在作出此类断言时保持谨慎。

关键词

引用

@article{arxiv.2211.08425,
  title  = {A Rigorous Study Of The Deep Taylor Decomposition},
  author = {Leon Sixt and Tim Landgraf},
  journal= {arXiv preprint arXiv:2211.08425},
  year   = {2022}
}

备注

Published in Transactions on Machine Learning Research (TMLR)