用于机器人操作的永不停止行为克隆智能体

依靠多模态观测，具身机器人（例如人形机器人）可以在非结构化的真实世界环境中执行多种机器人操作任务。然而，大多数基于语言条件的机器人行为克隆智能体在适应实际场景中的一系列新任务时，仍面临长期存在的挑战，即 3D 场景表示和人类水平的任务学习。我们在此利用 NBAgent 在具身机器人中研究上述挑战，NBAgent 是一种开创性的基于语言条件的永不停止行为克隆智能体（Never-ending Behavior-cloning Agent），能够分别从技能共享属性和技能特定属性中持续学习新颖 3D 场景语义的观测知识和机器人操作技能。具体而言，我们提出了一个技能共享语义渲染模块和一个技能共享表示蒸馏模块，以有效地从技能共享属性中学习 3D 场景语义，从而解决 3D 场景表示被忽视的问题。同时，我们建立了一个技能特定演化规划器来执行操作知识解耦，该规划器能够从潜在空间和低秩空间中持续嵌入类似人类的新颖技能特定知识。最后，我们设计了一个永不停止的具身机器人操作基准，大量实验证明了我们方法的显著性能。