腿上行走的UMI：通过操作中心全身控制器使操作策略移动化
机器人学
2024-07-16 v1
摘要
我们提出了UMI-on-Legs，一个新的框架，用于将真实世界和仿真数据结合用于四足操作系统。我们通过手持夹具(UMI)扩展了以任务为中心的数据收集，为机器人提供一种廉价的方式，展示与任务相关的操作技能，而无需机器人。同时，我们通过在仿真中训练全身控制器来扩展机器人中心的数据，实现任务跟踪，而无需任务仿真 setup。这两种策略之间的接口是任务框架下推断的末端执行器轨迹，传递给全身控制器进行跟踪。我们在prehensile、non-prehensile和dynamic操作任务上评估了UMI-on-Legs，报告所有任务都超过70%的成功率。最后，我们演示了从 prior work 中原本为固定基座机器人臂设计的预训练操作策略 checkpoint 在零样本跨体现部署到我们的四足系统。我们认为，这个框架为在动态机器人体现在学习表达性操作技能提供了可扩展的路径。请访问我们的网站查看机器人视频、代码和数据：https://umi-on-legs.github.io
引用
@article{arxiv.2407.10353,
title = {UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers},
author = {Huy Ha and Yihuai Gao and Zipeng Fu and Jie Tan and Shuran Song},
journal= {arXiv preprint arXiv:2407.10353},
year = {2024}
}
备注
18 pages, 7 figures, website: https://umi-on-legs.github.io/