视觉解释有用吗？一个模型在环预测的案例研究
机器学习
2020-07-27 v1 人工智能
计算机视觉与模式识别
人机交互
机器学习
摘要
我们针对一个模型在环的回归任务开展随机对照试验，旨在衡量以下程度：(1) 对模型预测的良好解释能否提升人类准确率；(2) 错误解释是否会削弱人类对模型的信任。我们研究基于视觉显著性的解释，应用于基于图像的年龄预测任务，其中人类与学习模型各自具备一定能力但不甚精通且经常意见相左。我们的实验设计将模型质量与解释质量分离，并可比较涉及多种不同质量层级解释的处理方式。我们发现呈现模型预测可提升人类准确率。然而，各类视觉解释均未能显著改变人类准确率或对模型的信任——无论解释刻画的是准确模型、不准确模型，还是随机且与输入图像无关地生成。这些发现表明，需要在下游决策任务中对解释做更充分的评估、需要更好的基于设计的工具向用户呈现解释，以及需要更好的解释生成方法。
引用
@article{arxiv.2007.12248,
title = {Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction},
author = {Eric Chu and Deb Roy and Jacob Andreas},
journal= {arXiv preprint arXiv:2007.12248},
year = {2020}
}