OPEx：具身指令跟随中基于大语言模型智能体的组件级分析
人工智能
2024-03-06 v1
摘要
具身指令跟随 (EIF) 是具身学习中的一项关键任务，要求智能体通过自我中心观察与环境交互以完成自然语言指令。最近的进展见证了在以框架为中心的方法中大量使用大语言模型 (LLM) 以提升包括 EIF 在内的具身学习任务的性能。尽管做出了这些努力，但对于从视觉感知到动作执行等各种组件对任务性能的影响，仍缺乏统一的理解。为填补这一空白，我们引入了 OPEx，这是一个综合框架，阐明了解决具身学习任务所需的核心组件：观察者 (Observer)、规划者 (Planner) 和执行者 (Executor)。通过广泛的评估，我们深入分析了每个组件如何影响 EIF 任务性能。此外，我们在该领域进行了创新，在 TextWorld 对应环境中部署了多智能体对话策略，进一步提升了任务性能。我们的研究结果表明，基于 LLM 的设计显著改善了 EIF 结果，确定了视觉感知和低级动作执行是关键瓶颈，并证明了用多智能体框架增强 LLM 能进一步提升性能。
引用
@article{arxiv.2403.03017,
title = {OPEx: A Component-Wise Analysis of LLM-Centric Agents in Embodied Instruction Following},
author = {Haochen Shi and Zhiyuan Sun and Xingdi Yuan and Marc-Alexandre Côté and Bang Liu},
journal= {arXiv preprint arXiv:2403.03017},
year = {2024}
}