LodeStar：通过人类演示的合成数据增强实现长时程机械臂精细操作

开发能够 robustly 执行具有人类水平精细操作的长时程操作任务的机器人系统颇具挑战，因为此类任务要求具备物理精细操作能力以及无缝衔接操作技能，同时能稳健处理环境变化。虽然仿照学习提供了可行的路径，但获取全面数据集代价高昂。在本工作中，我们提出一种学习框架和系统 LodeStar，通过使用即插即用的基础模型自动将任务演示分解为语义上有意义的技能，并通过强化学习从少量人类演示中生成多样化的合成演示数据集。这些 sim-augmented 数据集使技能训练更加稳健，Skill Routing Transformer (SRT) 策略有效地将所学技能串联起来，以执行复杂的长时程操作任务。在三个具有挑战性的真实世界长时程精细操作任务上的实验评估表明，我们的方法在任务性能和鲁棒性方面显著优于以前的基线。视频可在 lodestar-robot.github.io 查看。