机器生成的解释对普通用户有多大用处？基于猜测错误预测标签的人工评估

向用户解释自动化系统为何犯某些错误既重要又具挑战性。研究人员已经提出了自动为深度神经网络模型生成解释的方法。然而，尚不清楚这些解释在帮助用户弄清楚他们为何遇到错误方面有多大用处。如果一种解释能有效地向用户说明底层深度神经网络模型是如何工作的，那么看到该解释的人应该比未看到的人更能准确地预测模型的输出。本文调查了展示机器生成的视觉解释是否有助于用户理解图像分类器产生的错误预测标签。我们向 150 名在线众包工作者展示了图像和正确标签，并要求他们在展示或不展示机器生成的视觉解释的情况下选出错误预测的标签。结果表明，展示视觉解释并未提高，反而使平均猜测准确率降低了约 10%。