Robobarista: 通过深度多模态嵌入学习操控新物体

人类环境中存在大量物体与器具,例如炉灶、咖啡机、榨汁机等。让机器人学家为每种物体类型及其每个实例编写机器人程序是一项挑战。本工作中,我们提出一种基于以下理念的操控规划新方法:许多家用物体共享操作方式相似的物体部件。我们将操控规划表述为一个结构化预测问题,并通过使用深度神经网络将点云、自然语言和操控轨迹数据嵌入到共享嵌入空间中,学习在不同物体间迁移操控策略。为了在整个网络中学习具有语义意义的空间,我们引入了一种对其较低层进行多模态特征嵌入预训练的方法,以及一种利用基于损失的边界对嵌入空间进行微调的方法。为了收集不同物体的大量操控演示,我们开发了一个称为 Robobarista 的新众包平台。我们在由 116 个物体与器具(含 249 个部件)以及 250 条语言指令组成的数据集上测试我们的模型,该数据集包含 1225 个众包操控演示。我们进一步展示,搭载我们模型的机器人甚至能够使用其从未见过的新器具制作一杯拿铁咖啡。