注视游戏：解读隐式人类信号以推断人类熟练度、信任与意图

人类与 AI 之间的有效协作取决于透明的沟通和心理模型的对齐。然而，显式的口头沟通并非总是可行。在这种情况下，人类-人类团队通常依赖隐式的非言语线索来获取关于队友的重要信息（如意图和专业知识），从而增强团队对齐和适应性。在这些隐式线索中，最显著和最基础的两个是人类在环境中的动作及其视觉注意力。在本文中，我们提出了一种结合眼动注视数据和行为数据的新方法，并评估了它们对人类熟练度、信任和意图的各自预测能力。我们首先在快节奏的协作环境“Overcooked”中收集了配对的眼动注视和游戏数据集。然后，我们在此数据集上训练模型，以比较注视数据、游戏数据及其组合之间的预测能力差异。我们还将我们的方法与先前聚合眼动注视数据的工作进行了比较，并展示了这些聚合方法如何大幅降低眼动注视的预测能力。我们的结果表明，虽然眼动注视数据和游戏数据在不同情况下各有优势，但整合这两种类型数据的模型始终优于所有基线。这项工作为开发能够高效适应新队友的直观且响应灵敏的智能体铺平了道路。