图像域中特征归因方法的评估
计算机视觉与模式识别
2024-08-12 v2 机器学习
摘要
特征归因图是一种流行的方法,用于突出图像中对于模型给定预测最为重要的像素。尽管近年来此类方法和受欢迎程度快速增长,但针对此类归因图客观评估的关注却很少。基于该领域先前的工作,我们研究了现有度量指标,并提出了用于评估归因图的度量指标的新变体。我们证实了近期的一项发现,即不同的归因度量指标似乎衡量的是归因图的不同底层概念,并将这一发现扩展到了更大范围的归因度量指标。我们还发现,在某一数据集上的度量结果未必能推广到其他数据集,并且具有诸如 DeepSHAP 等理想理论性质的方法未必优于计算代价更低的替代方法。基于这些发现,我们提出了一种通用的基准测试方法,以针对给定用例确定理想的特征归因方法。归因度量指标的实现以及我们的实验可在线上获取。
引用
@article{arxiv.2202.12270,
title = {Evaluating Feature Attribution Methods in the Image Domain},
author = {Arne Gevaert and Axel-Jan Rousseau and Thijs Becker and Dirk Valkenborg and Tijl De Bie and Yvan Saeys},
journal= {arXiv preprint arXiv:2202.12270},
year = {2024}
}
备注
Updated based on reviewer comments: added discussion on sanity checks, application to tabular datasets, and minor changes