人机交互中工人注意力缺失的检测:一项眼动追踪与多模态感知研究

工业机器人与自主系统的出现使人机协作得以大规模开展。然而,由于无法解读人类主体的注意力,现有工业机器人在与人类近距离协作时受到限制。人类注意力研究并非易事,因为它涉及心智的多个方面:感知、记忆、问题解决与意识。从电子组装到机器操作,工业工作场所中的人类注意力缺失尤其成问题且可能带来灾难性后果。注意力确实复杂,难以用单模态传感器轻易度量。眼态、头部姿态、姿势以及多种环境刺激都可能在注意力缺失中起作用。为此,我们提出了一套标注人类注意力追踪多模态数据集的流程,包括眼动追踪、注视点检测、第三人称监控摄像头与声音。我们构建了一个包含真实制造环境中两段完整标注的手机组装序列的试点数据集。我们评估了现有的疲劳与困倦预测方法在注意力缺失检测上的表现。实验结果表明,生产场景中的人类注意力缺失比已被充分研究的疲劳与困倦更为细微且难以察觉。