通过空间图示指令教会机器人去哪里与如何行动

本文介绍空间图示指令（Spatial Diagrammatic Instructions, SDIs），这是一种供人类操作员指定与工作环境中空间区域相关的目标和约束的方法。人类操作员可直接在对应目标和约束的相机图像上勾画区域。这些草图被投影到三维空间坐标，并在此基础上学习连续的空间指令地图（Spatial Instruction Maps, SIMs）。这些地图随后可集成到机器人任务的优化问题中。我们特别展示了如何应用空间图示指令解决移动机械臂的基座放置问题（Base Placement Problem），该问题涉及为便于完成特定任务而放置机械臂的最佳位置。人类操作员可通过草图指定操作任务感兴趣的空间区域以及移动机械臂允许停留的区域。然后，求解一个优化问题，在机械臂保持在允许区域内的前提下，最大化其对指定感兴趣区域的可达性或覆盖度。我们提供了广泛的实证评估，并表明我们的空间指令地图公式能准确表征用户指定的图示指令。此外，我们证明，针对移动基座放置问题的图示方法能带来更高质量的解决方案和更快的运行时间。