显著性度量指标的合理性检验
机器学习
2019-12-04 v1 计算机视觉与模式识别
图像与视频处理
机器学习
摘要
显著性图是一种广受欢迎的用于生成图像分类器输出的事后解释的方法。这些方法估计每个像素对分类输出分数的相关性，并可显示为突出重要像素的显著性图。尽管此类方法大量涌现，但鲜有工作致力于量化这些显著性图在捕捉像素对分类器输出的真实相关性（即其“保真度”）方面的优劣。因此，我们研究了用于评估显著性方法保真度（即显著性度量指标）的现有度量方法。我们发现文献中此类度量的计算方式缺乏一致性，并表明这种不一致会对测得的保真度产生显著影响。此外，我们应用心理测量学测试文献中发展的可靠性度量，来评估显著性度量在应用于单个显著性图时的一致性。我们的结果表明，显著性度量在统计上可能不可靠且不一致，这意味着使用此类度量生成的显著性方法之间的比较排名可能是不可信的。
引用
@article{arxiv.1912.01451,
title = {Sanity Checks for Saliency Metrics},
author = {Richard Tomsett and Dan Harborne and Supriyo Chakraborty and Prudhvi Gurram and Alun Preece},
journal= {arXiv preprint arXiv:1912.01451},
year = {2019}
}
备注
Accepted for publication at the Thirty Fourth AAAI conference on Artificial Intelligence (AAAI-20)