程序化接地且可组合泛化的机器人操作

在真实世界中运行的机器人既需要丰富的操作技能，也需要对何时应用这些技能进行语义推理的能力。针对这一目标，近期工作将大规模预训练视觉-语言(VL)模型的语义表示整合到操作模型中，赋予其更通用的推理能力。然而，我们表明，整合此类表示的常规预训练-微调流程将领域特定动作信息与领域通用视觉信息的学习纠缠在一起，导致训练数据效率低下以及对未见物体与任务的泛化能力差。为此，我们提出ProgramPort，一种通过利用语言指令的句法与语义结构来更好利用预训练VL模型的模块化方法。我们的框架使用语义解析器恢复可执行程序，该程序由跨不同模态接地于视觉与动作的功能模块组成。每个功能模块实现为确定性计算与可学习神经网络的结合。程序执行产生用于机器人末端执行器通用操作原语的参量。整个模块化网络可通过端到端模仿学习目标进行训练。实验表明，我们的模型成功解耦动作与感知，转化为在多种操作行为中改进的零样本与组合泛化能力。项目网页见：\url{https://progport.github.io}。