当解释在说谎：为何许多改进的 BP 归因方法失效
机器学习
2024-02-20 v7 机器学习
摘要
归因方法旨在通过高亮最相关的图像区域来解释神经网络的预测。一种流行的方法是使用改进的规则（而非梯度）反向传播（BP）自定义相关性分数。我们分析了大量改进的 BP 方法：Deep Taylor Decomposition、Layer-wise Relevance Propagation (LRP)、Excitation BP、PatternAttribution、DeepLIFT、Deconv、RectGrad 和 Guided BP。我们通过实验发现，除上述 DeepLIFT 外，所有提及方法的解释均独立于后续层的参数。我们为这一令人惊讶的行为提供了理论见解，并分析了 DeepLIFT 为何不受此限制影响。我们通过使用新提出的度量——余弦相似度收敛（CSC）——实验测量了后续层信息被忽略的程度。本文提供了一个从理论与实证上评估新旧改进 BP 方法忠实性的框架。代码见：https://github.com/berleon/when-explanations-lie
引用
@article{arxiv.1912.09818,
title = {When Explanations Lie: Why Many Modified BP Attributions Fail},
author = {Leon Sixt and Maximilian Granz and Tim Landgraf},
journal= {arXiv preprint arXiv:1912.09818},
year = {2024}
}
备注
Published in ICML 2020 - Updated Proof