未知状态下的实时整体机器人位姿估计

从 RGB 图像估计机器人位姿是计算机视觉和机器人学中的一个关键问题。虽然先前的方法已取得了令人瞩目的性能，但大多数方法都假设完全知晓机器人内部状态，例如真实的机器人关节角度。然而，这一假设在实际场景中并不总是成立。在多机器人协作或人机交互等现实世界应用中，机器人关节状态可能未被共享或不可靠。另一方面，现有无需关节状态先验即可估计机器人位姿的方法承受着沉重的计算负担，因此无法支持实时应用。本工作引入了一种高效的框架，用于在无需已知机器人状态的情况下，从 RGB 图像进行实时机器人位姿估计。我们的方法估计相机到机器人的旋转、机器人状态参数、关键点位置和根深度，并为每项任务采用一个神经网络模块以促进学习和仿真到现实的迁移。值得注意的是，它无需迭代优化即可在单次前向传递中完成推理。我们的方法实现了 12 倍的速度提升并保持最先进（SOTA）的精度，首次实现了实时整体机器人位姿估计。代码和模型可在 https://github.com/Oliverbansk/Holistic-Robot-Pose-Estimation 获取。