基于视觉与触觉的连续多模态意图与注意力识别以实现更安全的物理人机交互

在机器人上配备类皮肤触觉传感器，通过增加检测人体接触的能力，提升了协作机器人的安全性与可用性。遗憾的是，单纯的二进制触觉传感器本身无法确定人体接触的背景——即该接触是刻意交互还是需要安全操作的意外碰撞。许多已发表的方法使用更先进的触觉传感器或分析关节力矩来对离散交互进行分类。与此不同，我们提出通过增加机器人搭载的摄像头进行人体姿态分析，以增强简单二进制触觉传感器的意图识别能力。触摸位置、人体姿态和注视方向等不同交互特征被用于训练一个监督机器学习算法，以分类触摸是否出于有意，F1-score 达 86%。我们证明了在多模态意图识别方面，协作机器人 Baxter 上的准确率显著高于单模态分析。此外，我们的方法还能通过注视评估用户注意力，持续监测在有意与无意之间流畅变化的交互。若用户在任务中途停止关注，所提出的意图与注意力识别算法可激活安全功能以防止不安全交互。我们还采用了一种特征约简技术，将输入数量减至五个，以获得更具泛化性的低维分类器。这种简化既减少了所需训练数据量，又提升了真实世界分类准确率。它也使该方法 potentially 对机器人与触摸传感器架构无关，同时实现了高度的任务适应性。