推进人机互补：用户专业水平与算法调优对联合决策的影响
人机交互
2022-08-18 v1 人工智能
摘要
人机协作决策致力于实现超越人类或 AI 单独表现的团队绩效。然而，许多因素会影响人机团队的成功，包括用户的领域专业知识、对 AI 系统的心智模型、对推荐结果的信任等。本研究考察了用户与三种模拟算法模型的交互，这些模型准确率相近但真阳性率与真阴性率的调优不同。我们的研究考察了用户在一个非平凡的血管标注任务中的表现，参与者需判断给定血管是通畅还是停滞。结果表明，尽管 AI 助手的推荐可辅助用户决策，但诸如用户相对于 AI 的基线表现以及 AI 错误类型的互补性调优等因素会显著影响整体团队绩效。新手用户有所提升，但未达到 AI 的准确率水平。高水平用户通常能辨别何时应遵循 AI 推荐，并基本保持或提升了自身表现。与 AI 准确率相近的中等表现者，在 AI 推荐对其表现有助或有害上差异最大。此外，我们发现用户自身对 AI 表现相对水平的感知，也在给定 AI 推荐时其准确率是否提升方面有显著影响。本工作为人机协作相关因素的复杂性提供了洞见，并就如何开发以人为中心的 AI 算法来在决策任务中互补用户给出了建议。
引用
@article{arxiv.2208.07960,
title = {Advancing Human-AI Complementarity: The Impact of User Expertise and Algorithmic Tuning on Joint Decision Making},
author = {Kori Inkpen and Shreya Chappidi and Keri Mallari and Besmira Nushi and Divya Ramesh and Pietro Michelucci and Vani Mandava and Libuše Hannah Vepřek and Gabrielle Quinn},
journal= {arXiv preprint arXiv:2208.07960},
year = {2022}
}
备注
Paper accepted and to be published in Transactions on Computer Human Interaction