重新思考基于梯度的显著性方法中梯度的正聚合与正传播
机器学习
2020-12-02 v1 计算机视觉与模式识别
摘要
显著性方法通过展示输入元素对该预测的重要性来解释神经网络的预测。一类流行的显著性方法利用梯度信息。在这项工作中，我们通过实验表明，处理梯度信息的两种方法，即正聚合和正传播，会破坏这些方法。尽管这些方法反映了输入中视觉显著的信息，但它们不再解释模型预测，因为生成的显著性图对预测输出不敏感，且对模型参数随机化不敏感。具体而言，对于聚合所选层梯度的方法（如 GradCAM++ 和 FullGrad），仅聚合正梯度是有害的。我们进一步提出几种具有梯度信息正处理的聚合方法变体来支持这一点。对于反向传播梯度信息的方法（如 LRP、RectGrad 和 Guided Backpropagation），我们展示了仅传播正梯度信息的破坏性效应。
引用
@article{arxiv.2012.00362,
title = {Rethinking Positive Aggregation and Propagation of Gradients in Gradient-based Saliency Methods},
author = {Ashkan Khakzar and Soroosh Baselizadeh and Nassir Navab},
journal= {arXiv preprint arXiv:2012.00362},
year = {2020}
}
备注
ICML 2020 - Workshop on Human Interpretability in Machine Learning - Spotlight paper - Video at http://whi2020.online/poster_40.html