基于融合信息的历史感知规划

受体指令跟随 (EIF) 是一种给定高层自然语言指令规划长序列子目标的任务，例如"将 lettuce 的一片洗净并置于叉子旁的白色桌上"。为了成功执行这些长期 horizon 任务，我们认为智能体必须在每个步骤中考虑其过去，即历史数据。然而，近期的方法在 EIF 中往往忽略历史数据的知识，也未有效利用跨模态的信息。为此，我们提出了基于融合信息的历史感知规划 (HAPFI)，有效地利用智能体在与环境交互期间收集的历史多模态数据。具体而言，HAPFI 通过我们开发的 Mutually Attentive Fusion 方法整合了多个模态，包括历史 RGB 观察、边界框、子目标和高层指令。通过多样化的比较实验，我们展示，使用历史多模态信息的智能体在动作规划能力上超过所有忽略历史数据的比较方法，能够为下一步生成明智的动作计划。此外，我们提供了定性证据，突出了在智能体遇到中间故障的情况下，利用历史多模态数据的重要性，展示了其 robust re-planning capabilities。