基于隐式逻辑推理与幻觉缓解的长时程机体规划
人工智能
2024-10-31 v4 计算与语言
机器学习
摘要
长时程机体规划是机体 AI 的基础。为了完成长时程任务,一种可行的方法是将抽象指令分解为一系列可操作步骤。基础模型在缺乏高度相关任务示例的情况下,仍会在长时程规划中出现逻辑错误和幻觉。然而,为任何随机任务提供高度相关的示例是不切实际的。因此,我们提出了 ReLEP(Real-time Long-horizon Embodied Planning),一个用于实时长时程机体规划的新框架。ReLEP 通过 fine-tuning 学习隐式逻辑推理,能够在不提供情境示例的情况下完成各种长时程任务。经 fine-tuning 的大型视觉语言模型将计划表述为技能函数的序列,这些函数从精心设计的技能库中选择。ReLEP 还配备了用于计划和状态回忆的 Memory 模块,以及用于跨机器人类型的 versatile 的 Robot Configuration 模块。此外,我们提出了数据生成管道以解决数据稀缺问题。在构建数据集时,我们考虑了隐式逻辑关系,使模型能够学习隐式逻辑关系并消除幻觉。通过 various long-horizon tasks 的 comprehensive evaluations,ReLEP 在各种未见任务上 demonstrate 出高 success rates and strong compliance to execution,同时 outperform state-of-the-art baseline methods。
引用
@article{arxiv.2409.15657,
title = {M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning},
author = {Taowen Wang and Yiyang Liu and James Chenhao Liang and junhan zhao and Yiming Cui and Yuning Mao and Shaoliang Nie and Jiahao Liu and Fuli Feng and Zenglin Xu and Cheng Han and Lifu Huang and Qifan Wang and Dongfang Liu},
journal= {arXiv preprint arXiv:2409.15657},
year = {2024}
}
备注
EMNLP 2024