从 RGB 图像恢复机器人关节角的距离几何方法

在人工干预困难或不可能（例如水下、地外或危险环境）的领域中运行的自主操纵系统，需要对感知和通信故障具有高度的鲁棒性。关键的是，运动规划和控制算法需要由关节编码器提供的准确关节角数据流，其故障可能导致不可恢复的功能丧失。在本文中，我们提出了一种仅使用机器人当前构型的单张 RGB 图像来检索机械臂关节角的新方法，在传统本体感知不可用时为恢复系统功能开辟了途径。我们的方法基于构型空间的距离几何表示，利用机器人运动学模型的知识来训练一个浅层神经网络，该网络对检测到的结构关键点的相关距离执行 2D 到 3D 回归。结果表明，所得欧氏距离矩阵唯一对应于观测到的构型，其中关节角可通过多维尺度变换和简单的逆运动学过程恢复。我们在 Franka Emika Panda 机械臂的真实 RGB 图像上评估了我们的方法性能，表明所提方法高效且展现出良好的泛化能力。此外，我们展示了我们的方法可以容易地与稠密细化技术结合以获得更优结果。