Robobarista: 基于三维点云众包的物体部件操作轨迹迁移

人类环境中存在大量种类的物体和设备，如炉灶、咖啡分配器、榨汁机等。为每种物体类型及其每个实例为机器人编程对机器人学家来说是一项挑战。在本工作中，我们提出了一种基于许多家用物体共享类似操作部件这一想法的操作规划方法。我们将操作规划表述为一个结构化预测问题，并设计了一个能够处理操作演示中大量噪声的深度学习模型，该模型从三种不同模态学习特征：点云、语言和轨迹。为了收集不同物体的大量操作演示，我们开发了一个名为 Robobarista 的新众包平台。我们在由 116 个物体、249 个部件以及 250 条语言指令组成的数据集上测试了我们的模型，共有 1225 个众包操作演示。我们进一步表明，我们的机器人甚至可以操作它从未见过的物体。