基于薄板样条与 LRCN 的面向用户自然人机控制

我们提出一种用于机械臂的实时基于视觉的遥操作方法，该方法采用单一基于深度的相机，使用户无需任何可穿戴设备。通过采用自然用户界面，这一新颖方法将传统的微调控制转变为直接的身体姿态捕捉过程。所提方法由两部分组成。其一是基于薄板样条（TPS）的非线性可定制姿态映射，以非线性方式将人体运动直接转移至机械臂运动，从而允许匹配具有不同工作空间形状和运动学约束的不相似机体。其二是基于长时递归卷积网络（LRCN）的深度神经网络手部状态分类器，利用所获取深度数据的时间相干性。我们通过所提手部状态分类器的经典交叉验证实验，以及涉及拾放与制造任务变体的实用实验用户研究，对我们的方法进行验证、评估与比较。结果表明 LRCN 网络优于单图像卷积神经网络；且用户学习曲线陡峭，从而能够成功完成所提任务。与先前方法相比，TPS 方法未增加任务复杂度且完成时间相近，同时在工作空间边界附近区域提供了更精确的操作。