面向杂乱场景中目标导向操作的语义机器人编程

我们提出了语义机器人编程（SRP）范式，作为机器人编程演示与语义建图的融合。在 SRP 中，用户可以通过在工作空间中展示其预期目标场景的快照来直接对机器人机械臂进行编程。然后，机器人在已知物体几何形状的假设下，将该目标解析为由物体位姿和物体间关系组成的场景图。接着使用任务和运动规划从任意初始场景配置实现用户的目标。即使面对不同的初始场景配置，SRP 也能使机器人无缝适应以达到用户演示的目标。对于场景感知，我们提出了场景与变换的判别信息生成估计（DIGEST）方法，用于从 RGBD 图像推断世界的初始状态和目标状态。在 Michigan Progress Fetch 机器人执行托盘摆放任务中展示了带有 DIGEST 感知的 SRP 的有效性。使用公开的家庭遮挡数据集和我们的杂乱场景数据集对场景感知和任务执行进行了评估。