基于注视的人机协作注意力识别

注意力（与分心）识别是改善人机协作的关键因素。我们提出了一个装配场景，其中人类操作员与协作机器人（cobot）平等协作以组装一台齿轮箱。该设置提供了多种机会，使协作机器人能够根据操作员的注意力调整其行为，从而改善协作体验并减轻心理负担。作为第一步，我们识别人类操作员所关注的 workspace 中的区域，并据此检测操作员何时分心。我们提出了一种新颖的深度学习方法来开发注意力识别模型。首先，我们训练一个卷积神经网络，使用公开可用的图像数据集来估计注视方向。然后，我们使用带有小数据集的迁移学习将注视方向映射到预定义的感兴趣区域。使用该方法训练的模型在小数据集上的留一受试者交叉验证中表现非常好。我们使用从在所示装配场景中作为操作员工作的参与者收集的视频片段对我们的模型进行了额外验证。尽管在这种情况下 Distracted 类的召回率较低，但模型在识别操作员关注的领域方面表现良好。据我们所知，这是首个使用模仿工业人机协作环境的数据验证注意力识别模型的工作。我们的发现凸显了在此类完整、非引导场景中验证注意力识别解决方案的必要性。