ThinkBot：结合思维链推理的具身指令跟随
计算机视觉与模式识别
2023-12-15 v2
摘要
具身指令跟随（EIF）要求智能体在复杂周围环境中与物体交互以完成人类指令。传统方法直接考虑稀疏的人类指令来为智能体生成动作计划，由于动作描述中的指令不连贯，这通常无法实现人类目标。相反，我们提出了 ThinkBot，它推理人类指令中的思维链以恢复缺失的动作描述，从而使智能体能够通过跟随连贯的指令成功完成人类目标。具体而言，我们首先设计了一个基于大型语言模型的指令补全器，用于恢复连续人类指令之间与交互对象相关的缺失动作，其中感知到的周围环境和已完成的子目标被用于指令补全。基于部分观察的场景语义图，我们提出了一个目标定位器来推断交互对象的位置，以帮助智能体实现复杂的人类目标。在模拟环境中的大量实验表明，我们的 ThinkBot 在成功率和执行效率方面均以显著优势优于现有最先进的 EIF 方法。
引用
@article{arxiv.2312.07062,
title = {ThinkBot: Embodied Instruction Following with Thought Chain Reasoning},
author = {Guanxing Lu and Ziwei Wang and Changliu Liu and Jiwen Lu and Yansong Tang},
journal= {arXiv preprint arXiv:2312.07062},
year = {2023}
}