理解分布外样本与交互式解释对人类-AI决策的影响
人工智能
2021-10-07 v4 计算机与社会
人机交互
机器学习
摘要
尽管AI有望在社会关键领域改善人类决策，但人类-AI团队如何能在具有挑战性的预测任务中可靠地超越单独的AI与单独的人类（亦称互补性能）仍是一个开放问题。我们探索两个方向以理解实现互补性能中的差距。首先，我们认为典型的实验设置限制了人类-AI团队的潜力。为考虑由于分布偏移导致AI在分布外性能低于分布内，我们设计了具有不同分布类型的实验，并调查人类对分布内与分布外样本的性能。其次，我们开发了支持交互式解释的新型界面，使人类能主动与AI辅助互动。使用虚拟试点研究与跨三项任务的大规模随机实验，我们展示了分布内与分布外之间的明显差异，并观察到交互式解释的混杂结果：虽然交互式解释改善了人类对于AI辅助有用性的感知，它们可能强化人类偏见并导致有限的性能提升。总体而言，我们的工作指出了借助AI辅助增强人类性能的关键挑战与未来方向。
引用
@article{arxiv.2101.05303,
title = {Understanding the Effect of Out-of-distribution Examples and Interactive Explanations on Human-AI Decision Making},
author = {Han Liu and Vivian Lai and Chenhao Tan},
journal= {arXiv preprint arXiv:2101.05303},
year = {2021}
}
备注
45 pages, 24 figures, accepted to CSCW 2021