RGBManip：基于单目图像通过主动物体位姿估计的机器人操控

机器人操控需要准确感知环境，这因其固有的复杂性和不断变化的性质而构成重大挑战。在此背景下，RGB 图像和点云观测是基于视觉的机器人操控中两种常用模态，但每种模态都有其局限性。商用点云观测常因发射-接收成像原理的限制而存在稀疏采样和噪声输出问题。另一方面，RGB 图像虽然纹理信息丰富，但缺乏机器人操控所需的关键深度和 3D 信息。为缓解这些挑战，我们提出一种仅使用图像的机器人操控框架，其利用安装在机器人平行夹爪上的眼在手单目相机。该相机随机器人夹爪移动，从而在操控过程中能够从多个视角主动感知物体。这使得 6D 物体位姿的估计成为可能，并可用于操控。然而，从更多样视角获取图像通常会改善位姿估计，但也会增加操控时间。为应对此权衡，我们采用强化学习策略将操控策略与主动感知同步，在 6D 位姿精度与操控效率间取得平衡。我们在仿真和真实环境中的实验结果展示了我们方法的最优有效性。我们相信我们的方法将启发进一步面向真实世界的机器人操控研究。