解释之前须先验证真实性：基于视频活动识别的可解释 AI 评估
人机交互
2020-05-06 v1 人工智能
机器学习
摘要
可解释的机器学习与人工智能模型已被用于论证模型的决策过程。这种增加的透明性旨在帮助用户提升表现并理解底层模型。然而在实践中，可解释系统面临诸多开放性问题和挑战。具体而言，设计者可能会降低深度学习模型的复杂度以提供可解释性。但这些简化模型生成的解释可能并不能准确论证模型，或与模型不符。这进一步增加了用户的困惑，因为他们可能发现解释相对于模型预测并无意义。理解这些解释如何影响用户行为是一个持续的挑战。本文中，我们探究解释真实性如何影响智能系统中的用户表现与认同度。通过一项针对可解释活动识别系统的受控用户研究，我们比较了在视频审阅与查询任务中解释真实性的差异。结果表明，与准确解释以及无解释系统相比，低真实性解释显著降低了用户表现与认同度。这些发现证明了准确且可理解解释的重要性，并警示糟糕的解释有时比无解释更糟，会影响用户在 AI 系统上的表现与依赖。
引用
@article{arxiv.2005.02335,
title = {Don't Explain without Verifying Veracity: An Evaluation of Explainable AI with Video Activity Recognition},
author = {Mahsan Nourani and Chiradeep Roy and Tahrima Rahman and Eric D. Ragan and Nicholas Ruozzi and Vibhav Gogate},
journal= {arXiv preprint arXiv:2005.02335},
year = {2020}
}