重访显著性图的合理性检验
机器学习
2021-10-28 v1 计算机视觉与模式识别
人机交互
摘要
显著性方法是模型调试与可解释性的常用途径。然而，在缺乏何为正确映射的 ground-truth 数据的情况下，评估和比较不同方法仍是一项长期挑战。Adebayo 等人 [Neurips 2018] 的合理性检验（sanity checks）方法论试图应对此挑战。他们认为某些流行的显著性方法不应用于可解释性目的，因其生成的映射对所应解释的底层模型不敏感。通过对他们目标的因果重构，我们论证其经验评估由于所评估任务引入的一种混杂形式，并未充分确立这些结论。通过在简单定制任务上的多种实验，我们表明他们的某些结论确实可能是任务的产物，而非对显著性方法本身的批评。更广泛地，我们的工作质疑了合理性检验方法论的效用，并进一步凸显除临时视觉检查之外的显著性图评估仍是一项根本挑战。
引用
@article{arxiv.2110.14297,
title = {Revisiting Sanity Checks for Saliency Maps},
author = {Gal Yona and Daniel Greenfeld},
journal= {arXiv preprint arXiv:2110.14297},
year = {2021}
}