捕捉人类对AI的心智模型：一种项目反应理论方法

增进我们对人类如何感知AI队友的理解，是普遍理解人机团队的重要基础。扩展认知科学中的相关工作，我们提出一个基于项目反应理论（item response theory）的框架来建模这些感知。我们将该框架应用于真实世界实验，其中每位参与者与另一人或AI智能体在问答环境中协作，并反复评估其队友的表现。利用该实验数据，我们展示了使用我们的框架检验关于人们对AI智能体及其他人感知的研究问题。我们对比AI队友与人类队友的心智模型，刻画这些心智模型的维度、其随时间的发展，以及参与者自身自我感知的影响。我们的结果表明，人们预期AI智能体的平均表现显著优于其他人，且在不同类型问题上的差异更小。我们以对这些发现对人机交互影响的讨论作结。