Socratic Planner：基于自问答的具身指令跟随零样本规划

具身指令跟随是指在交互环境中通过导航和与物体交互来执行自然语言指令的任务。EIF 中的一个关键挑战是组合式任务规划，通常通过监督学习或使用标注数据的少样本上下文学习来解决。为此，我们引入了 Socratic Planner，这是一种基于自问答的零样本规划方法，无需任何进一步训练即可推断出合适的规划。Socratic Planner 首先通过大语言模型（LLM）促进自提问与自回答，进而帮助生成一系列子目标。在执行子目标时，具身智能体可能会遇到意外情况，例如不可预见的障碍物。随后，Socratic Planner 通过基于视觉的重新规划机制，根据密集的视觉反馈调整规划。实验证明了 Socratic Planner 的有效性，在 ALFRED 基准测试的所有指标上均优于当前最先进的规划模型，尤其在需要复杂推理的长时序任务中表现突出。我们进一步通过在物理机器人上部署长时序任务，展示了其在现实世界中的适用性。