用于识别机器人领域中子任务的语言条件变点检测

本工作中，我们提出一种利用语言指令在示教机器人轨迹中识别子任务的方法。我们使用示教过程中提供的语言作为引导，识别较长机器人轨迹的子段，从而确定这些子任务。给定自然语言指令序列以及由图像帧和离散动作组成的长轨迹，我们希望将一条指令映射到轨迹中较小的片段。与以往直接从语言学习到策略映射的指令跟随工作不同，我们提出一种语言条件变点检测方法来识别问题中的子任务。我们的方法学习长语言命令的组成部分段与相应轨迹组成部分段之间的关系。如先前相关 work 所示，这些组成轨迹段可用于学习子任务或子目标以进行规划，或用于选项（options）。本工作的洞见在于，语言条件机器人变点检测问题与现有用于识别在线视频中子段的视频时刻检索工作相似。通过大量实验，我们证明所提方法在准确识别轨迹内子任务上比基线方法提升 $1.78_{\pm 0.82}\%$。此外，我们呈现了一项关于学习该语言与轨迹子段间映射所需样本复杂度的综合研究，以理解基于视频检索的方法在真实机器人场景中是否可行。