中文

记忆迁移规划:LLM 驱动的上下文感知代码自适应用于机器人操控

机器人学 2025-09-30 v1 人工智能 机器学习

摘要

大语言模型(LLMs)越来越多地被探索用于机器人操控,但许多现有方法难以适应新环境。许多系统需要针对特定环境进行策略训练,或者依赖固定提示和单次代码生成,导致可迁移性有限且需要手动重新调参。我们提出了记忆迁移规划(MTP),一个利用不同环境中成功的控制代码示例作为程序性知识的框架,将其用作 LLM 驱动规划的上下文指导。具体而言,MTP(i)使用 LLMs 生成初始计划和代码,(ii)从代码记忆中检索相关成功示例,(iii)上下文自适应地调整检索到的代码以进行重新规划,而无需更新模型参数。我们在 RLBench、CALVIN 和物理机器人上评估了 MTP,证明了其在模拟之外的有效性。在这些设置中,MTP 一致地提高了成功率和可适应性,优于固定提示代码生成、朴素检索和无记忆重新规划。此外,在硬件实验中,利用在模拟中构建的记忆被证明是有效的。MTP 提供了一种实用的方法,利用程序性知识在多样化的机器人操控场景中实现鲁棒的 LLM 基础规划,增强了对新环境的适应性,并弥合了模拟与现实部署之间的差距。

关键词

引用

@article{arxiv.2509.24160,
  title  = {Memory Transfer Planning: LLM-driven Context-Aware Code Adaptation for Robot Manipulation},
  author = {Tomoyuki Kagaya and Subramanian Lakshmi and Yuxuan Lou and Thong Jing Yuan and Jayashree Karlekar and Sugiri Pranata and Natsuki Murakami and Akira Kinose and Yang You},
  journal= {arXiv preprint arXiv:2509.24160},
  year   = {2025}
}