Text2Motion：从自然语言指令到可行规划
机器人学
2024-11-01 v5 人工智能
机器学习
摘要
我们提出 Text2Motion，一种基于语言的规划框架，使机器人能求解需要长时序推理的连续操作任务。给定自然语言指令，我们的框架构建任务级与运动级规划，并验证其达到推断的符号目标。Text2Motion 利用编码于技能库 Q 函数中的可行性启发式，以大型语言模型引导任务规划。此前的基于语言的规划器仅考虑单个技能的可行性，而 Text2Motion 通过在搜索过程中执行几何可行性规划，主动消解跨越技能序列的几何依赖。我们在一组需要长时序推理、抽象目标解释与部分可供性感知处理的问题上评估我们的方法。实验表明，Text2Motion 能以 82% 成功率解决这些挑战性问题，而先前最先进的基于语言的规划方法仅达 13%。因此，Text2Motion 对具有技能间几何依赖的语义多样连续操作任务提供了有前景的泛化特性。
引用
@article{arxiv.2303.12153,
title = {Text2Motion: From Natural Language Instructions to Feasible Plans},
author = {Kevin Lin and Christopher Agia and Toki Migimatsu and Marco Pavone and Jeannette Bohg},
journal= {arXiv preprint arXiv:2303.12153},
year = {2024}
}
备注
Published in Autonomous Robots, Special Issue: Large Language Models in Robotics 2023. Project page: https://sites.google.com/stanford.edu/text2motion. First two authors contributed equally