MCTS-EP：基于在线偏好优化的具身规划
人工智能
2025-12-17 v2
摘要
本文介绍了MCTS-EP，一种结合大语言模型（LLM）和蒙特卡洛树搜索（MCTS）用于训练具身智能体的在线学习框架。MCTS-EP集成了三个关键组件：基于MCTS的探索用于偏好数据收集、高效的多模态推理机制以及基于偏好优化的迭代训练管道。我们理论证明，当损失函数为强凸时，MCTS-EP的性能界限优于常规on-policy算法，同时演示其可形式化为搜索增强版的GAIL。MCTS-EP在多个基准测试中实现了最先进的性能。在ALFWorld中，文本任务和视觉任务的成功率分别达到92%和87%。在WebShop中，平均奖励达到0.81。MTCS-EP还将视觉ALFWorld中的平均交互步骤从18.7/19.5降低到10.2/9.9。代码可在 https://github.com/xuhang-2/Embodied-Agent-Planning 获取。
引用
@article{arxiv.2509.17116,
title = {MCTS-EP: Empowering Embodied Planning with Online Preference Optimization},
author = {Hang Xu and Zang Yu and Yehui Tang and Pengbo Hu and Yuhao Tang and Hao Dong},
journal= {arXiv preprint arXiv:2509.17116},
year = {2025}
}