多模态交接失败检测数据集与基线方法

机器人与人之间的物体交接是一种协调动作，容易因沟通不畅、动作错误或意外的物体属性等原因而失败。现有的交接失败检测与预防工作主要集中在防止因物体滑落或外部干扰导致的失败。然而，目前缺乏考虑由人类参与者引起的不可预防失败的数据集和评估方法。为弥补这一不足，我们提出了多模态交接失败检测数据集，该数据集包含由人类参与者引发的失败，例如忽略机器人或不释放物体。我们还提出了两种交接失败检测的基线方法：(i) 一种使用 3D CNN 的视频分类方法，以及 (ii) 一种时间动作分割方法，该方法联合分类人类动作、机器人动作及动作的整体结果。结果表明，视频是一种重要的模态，但结合力矩数据和夹持器位置数据有助于提高失败检测和动作分割的准确性。