RT-Trajectory：通过事后轨迹草图实现机器人任务泛化
机器人学
2023-11-07 v2 人工智能
摘要
泛化始终是鲁棒机器人学习系统最重要的需求之一。尽管近期提出的方法在泛化到新物体、语义概念或视觉分布偏移方面展现出前景，但向新任务的泛化仍具挑战。例如，在拾放任务上训练的语言条件策略将无法泛化到折叠任务，即使折叠的机械臂轨迹与拾放相似。我们的关键洞见是：如果我们通过粗略的轨迹草图来表示任务，此类泛化便可行。我们提出一种使用此类粗略轨迹草图的策略条件化方法，称之为RT-Trajectory，它实用、易于指定，并允许策略有效执行原本具挑战性的新任务。我们发现轨迹草图在足够详细以表达以低层运动为中心的引导，与足够粗略以让所学策略结合情境视觉观测解释轨迹草图之间取得了平衡。此外，我们展示了轨迹草图如何为与机器人策略通信提供有用接口：它们可通过如绘图或视频等简单人类输入，或通过现代图像生成或路点生成方法等自动化方法来指定。我们在多种真实世界机器人任务上大规模评估RT-Trajectory，并发现当提供相同训练数据时，RT-Trajectory能够执行比语言条件和目标条件策略更广范围的任务。
引用
@article{arxiv.2311.01977,
title = {RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches},
author = {Jiayuan Gu and Sean Kirmani and Paul Wohlhart and Yao Lu and Montserrat Gonzalez Arenas and Kanishka Rao and Wenhao Yu and Chuyuan Fu and Keerthana Gopalakrishnan and Zhuo Xu and Priya Sundaresan and Peng Xu and Hao Su and Karol Hausman and Chelsea Finn and Quan Vuong and Ted Xiao},
journal= {arXiv preprint arXiv:2311.01977},
year = {2023}
}
备注
Evaluation videos can be found at https://rt-trajectory.github.io/