Hanabi 中基于学习与基于规则智能体的人机团队评估
人工智能
2021-10-25 v3 人机交互
摘要
深度强化学习已在围棋和星际争霸等竞争性游戏中生成了超越人类的 AI。类似的学习技术能否为人机协作游戏创造出更优的 AI 队友?人类会更偏好提升客观团队表现的 AI 队友,还是那些改善信任等主观指标的 AI 队友?在本研究中,我们在合作纸牌游戏 Hanabi 中对人类与 AI 智能体组成的团队进行了单盲评估,其中包含基于规则和基于学习的智能体。除用作人机团队客观表现指标的得分外,我们还量化了人类感知表现、团队协作、可解释性、信任以及对 AI 队友整体偏好的主观度量。我们发现,尽管游戏得分无统计差异,人类在几乎所有主观指标上都明显偏好基于规则的 AI 队友(SmartBot)而非最先进的基于学习的 AI 队友(Other-Play),且普遍对基于学习的智能体持负面看法。该结果对未来 AI 设计与强化学习基准测试具有启示意义,凸显了需要将人机协作的主观指标纳入考量,而非仅聚焦于客观任务表现。
引用
@article{arxiv.2107.07630,
title = {Evaluation of Human-AI Teams for Learned and Rule-Based Agents in Hanabi},
author = {Ho Chit Siu and Jaime D. Pena and Edenna Chen and Yutai Zhou and Victor J. Lopez and Kyle Palko and Kimberlee C. Chang and Ross E. Allen},
journal= {arXiv preprint arXiv:2107.07630},
year = {2021}
}
备注
Accepted for publication at NeurIPS 2021