可解释 AI 在临时人机组队中的效用
人工智能
2022-09-09 v1 人机交互
摘要
机器学习的最新进展引发了人们对可解释 AI(xAI)的日益关注,以使人类能够深入了解机器学习模型的决策过程。尽管近期备受关注,xAI 技术的效用尚未在人机组队中得到刻画。重要的是,xAI 有望增强团队态势感知(SA)和共享心智模型发展,而这些正是高效人机团队的关键特征。在这种心智模型的快速发展在临时人机组队中尤为关键,因为智能体事先并不了解其他智能体的决策策略。在本文中,我们提出了两个新的人类受试者实验,量化了在人机组队场景中部署 xAI 技术的收益。首先,我们表明 xAI 技术能够支持 SA()。其次,我们考察了通过协作式 AI 策略抽象诱导的不同 SA 水平如何影响临时人机组队性能。重要的是,我们发现 xAI 的收益并非普遍的,因为它强烈依赖于人机团队的构成。新手从提供增强 SA 的 xAI 中受益(),但也易受认知开销影响()。另一方面,专家的性能随着加入基于 xAI 的支持而下降(),表明关注 xAI 的代价超过了通过提供额外信息以增强 SA 所获得的收益。我们的结果表明,研究者必须通过仔细考虑人机团队构成以及 xAI 方法如何增强 SA,在正确的场景中刻意设计并部署正确的 xAI 技术。
引用
@article{arxiv.2209.03943,
title = {The Utility of Explainable AI in Ad Hoc Human-Machine Teaming},
author = {Rohan Paleja and Muyleng Ghuy and Nadun Ranawaka Arachchige and Reed Jensen and Matthew Gombolay},
journal= {arXiv preprint arXiv:2209.03943},
year = {2022}
}
备注
Part of Advances in Neural Information Processing Systems 34 (NeurIPS 2021)