L2D2：从二维绘图学习的机器人

机器人应能够从人类处学习新任务，但人类如何向机器人传递其希望机器人执行的任务呢？现有方法大多依赖人类在其意图任务过程中对机器人机臂进行物理引导。不幸的是，当数据量扩大时，物理引导变得笨拙。人类不仅需要操作机器人硬件，还需要修改环境(例如移动和重置物体)以提供多个任务示例。在本工作中，我们提出L2D2，一种绘图界面和仿射学习算法，人类可通过绘制任务来提供示范。L2D2启动于机器人机臂及其工作空间的单个图像。用户使用平板在该图像上绘制并标记轨迹，以说明机器人应如何行动。为了收集新的和多样化的示范，我们不再需要人类物理重置工作空间；相反，L2D2利用视觉语言分割自主变更物体位置并生成用于人类绘制的合成图像。我们认识到，绘制轨迹的信息不如物理演示丰富。绘图是二维的，无法捕捉机器人动作如何影响其环境。为此，我们的下一阶段L2D2通过利用小量物理演示，将人的静态二维绘图锚定到动态三维世界中。我们的实验和用户研究表明，L2D2使人类能够以更少时间和精力提供更多示范，用户倾向于选择绘图而非物理操作。与其他绘图方法相比，我们发现L2D2学习的机器人策略更高效，需要更小的数据集，并能泛化到更长期限的任务。参见我们的项目网站：https://collab.me.vt.edu/L2D2/