通过物体部件场景流实现与具身无关的动作规划
机器人学
2024-09-17 v1
摘要
观察到机器人动作规划的关键在于理解当末端执行器操纵目标物体的相关部件时该物体的运动，我们提出生成3D物体部件场景流并提取其变换，以求解适用于不同具身形态的动作轨迹。我们方法的优势在于，它从物体运动预测中显式推导出机器人动作，通过理解物体运动产生更鲁棒的策略。此外，与基于具身中心数据训练的策略不同，我们的方法与具身形态无关，可泛化到各种具身形态，并且能够从人类演示中学习。我们的方法包含三个组件：一个物体部件预测器，用于定位末端执行器要操纵的部件；一个RGBD视频生成器，用于预测未来的RGBD视频；以及一个轨迹规划器，用于提取与具身无关的变换序列并求解适用于不同具身形态的轨迹。即使在无轨迹数据的视频上训练，我们的方法在主流虚拟环境MetaWorld和Franka-Kitchen上仍分别显著优于现有工作27.7%和26.2%。此外，我们进行了真实世界实验，表明仅使用人类演示训练的策略可以部署到各种具身形态上。
引用
@article{arxiv.2409.10032,
title = {Embodiment-Agnostic Action Planning via Object-Part Scene Flow},
author = {Weiliang Tang and Jia-Hui Pan and Wei Zhan and Jianshu Zhou and Huaxiu Yao and Yun-Hui Liu and Masayoshi Tomizuka and Mingyu Ding and Chi-Wing Fu},
journal= {arXiv preprint arXiv:2409.10032},
year = {2024}
}
备注
8 pages, 7 figures