评估模型解释对模型开发的效用
人工智能
2023-12-12 v1 人机交互
摘要
可解释人工智能的动机之一是让人类能够在使用和部署人工智能模型时做出更好、更明智的决策。但需要仔细评估这一期望是否得到满足。当前的评估主要关注解释的算法属性，而那些涉及人类受试者的评估通常使用主观问题来测试人类对解释有用性的感知，而没有基于客观指标和测量。在这项工作中，我们评估了解释是否能在机器学习模型开发的实际场景中改善人类决策。我们进行了一项混合方法用户研究，涉及图像数据，评估由 SmoothGrad、GradCAM 和一种 oracle 解释生成的显著性图在两个任务上的表现：模型选择和反事实模拟。令我们惊讶的是，当用户获得任何显著性图（即使是设计为简单易懂且高度指示答案的合成 oracle 解释）时，我们没有发现这些任务有显著改善的证据。尽管如此，解释确实帮助用户更准确地描述模型。这些发现提示我们对基于显著性的解释的有用性和潜在误解保持谨慎。
引用
@article{arxiv.2312.06032,
title = {Evaluating the Utility of Model Explanations for Model Development},
author = {Shawn Im and Jacob Andreas and Yilun Zhou},
journal= {arXiv preprint arXiv:2312.06032},
year = {2023}
}