显著性方法的定量评估：一项实验研究
人工智能
2021-01-01 v1 机器学习
摘要
可解释 AI（XAI）作为重要议题已被争论良久，但其缺乏严格的定义与公平的度量。本文简要总结度量的现状，并基于这些度量展开一项穷尽式实验研究，包括忠实性、定位性、假阳性、敏感性检验与稳定性。根据实验结果，我们得出结论：在所比较的所有方法中，没有单一解释方法在所有度量上均优于其他方法。尽管如此，梯度加权类激活映射（Grad-CAM）与随机输入采样解释（RISE）在大多数度量上表现相当好。利用一组过滤后的度量，我们进一步给出案例研究以诊断模型的分类依据。在提供度量的全面实验研究的同时，我们也考察了当前度量中遗漏的度量因素，并希望这一有价值的工作可作为未来研究的指南。
引用
@article{arxiv.2012.15616,
title = {Quantitative Evaluations on Saliency Methods: An Experimental Study},
author = {Xiao-Hui Li and Yuhan Shi and Haoyang Li and Wei Bai and Yuanwei Song and Caleb Chen Cao and Lei Chen},
journal= {arXiv preprint arXiv:2012.15616},
year = {2021}
}
备注
14 pages, 16 figures