一种通过合理性检验的简单显著性方法
机器学习
2019-06-10 v2 人工智能
机器学习
摘要
人们对“显著性方法”（亦称“归因方法”）有浓厚兴趣，该方法通过为输入中的每个特征/像素分配一个“分数”，为深度网络的决策提供“解释”。其设计通常通过对输出关于输入的梯度进行信用分配。最近 Adebayo 等人 [arXiv:1810.03292] 质疑了许多此类方法的有效性，因为它们未通过简单的*合理性检验*，这些检验测试当训练好的网络层被随机化，或用随机标签对输入重新训练时，分数是否发生偏移或消失。我们提出对现有显著性方法的一个简单修正，以帮助其通过合理性检验，称之为“像素竞争”。这涉及为分类任务中所有可能标签计算显著性图，并利用它们之间的简单竞争来识别并从图中移除较不相关的像素。其最简变体为“竞争梯度 输入（CGI）”：它高效、无需额外训练，且仅使用输入和梯度。我们提供了一些理论依据（尤其针对 ReLU 网络），并通过实验证明了其性能。
引用
@article{arxiv.1905.12152,
title = {A Simple Saliency Method That Passes the Sanity Checks},
author = {Arushi Gupta and Sanjeev Arora},
journal= {arXiv preprint arXiv:1905.12152},
year = {2019}
}
备注
Small typo on paragraph 3 of section 3 fixed