一种一致且高效的归因方法评估策略
计算机视觉与模式识别
2022-06-15 v2 机器学习
摘要
近年来提出了多种局部特征归因方法，后续研究给出了若干评估策略。为跨不同归因技术评估归因质量，图像领域中最流行的评估策略使用像素扰动。然而，近期研究指出不同评估策略会对归因方法产生相互冲突的排序，且计算代价可能极高。本文对基于像素扰动的评估策略进行信息论分析。我们的发现表明，结果深受被移除像素形状（而非其实际取值）所导致的信息泄漏影响。利用理论见解，我们提出一种称为 Remove and Debias（ROAD）的新评估框架，其贡献有二：首先，它缓解了混杂因素的影响，从而提升各评估策略间的一致性；其次，ROAD 无需计算昂贵的重训练步骤，与最先进方法相比可节省至多 99% 的计算成本。源代码发布于 https://github.com/tleemann/road_evaluation。
引用
@article{arxiv.2202.00449,
title = {A Consistent and Efficient Evaluation Strategy for Attribution Methods},
author = {Yao Rong and Tobias Leemann and Vadim Borisov and Gjergji Kasneci and Enkelejda Kasneci},
journal= {arXiv preprint arXiv:2202.00449},
year = {2022}
}
备注
26 pages. Accepted at ICML 2022