TWIST：遥控全身imitation系统
机器人学
2025-05-06 v1 计算机视觉与模式识别
机器学习
摘要
以全身方式遥控人oid机器人是发展通用机器人智能的关键一步，人类运动提供了控制所有自由度的理想接口。然而，目前大多数人oid遥控系统都未能实现协调的全身行为，通常仅限于孤立的 locomotion 或操作任务。我们提出了遥控全身imitation系统（Teleoperated Whole-Body Imitation System, TWIST），通过全身运动imitation实现人oid遥控。我们首先通过将人类动作捕获数据 retarget 到人oid机器人上生成参考运动片段。随后，我们开发了一种稳健、自适应且响应迅速的全身控制器，融合了强化学习和行为克隆（RL+BC）。通过系统性分析，我们展示了纳入特权未来运动帧和真实运动捕获（MoCap）数据如何提升跟踪精度。TWIST使真实人oid机器人能够实现前所未有的、多功能的和协调的全身运动技能——涵盖全身操作、腿式操作、 locomotion 和表达性动作——仅凭一个统一的神经网络控制器即可实现。我们的项目网站：https://humanoid-teleop.github.io
关键词
引用
@article{arxiv.2505.02833,
title = {TWIST: Teleoperated Whole-Body Imitation System},
author = {Yanjie Ze and Zixuan Chen and João Pedro Araújo and Zi-ang Cao and Xue Bin Peng and Jiajun Wu and C. Karen Liu},
journal= {arXiv preprint arXiv:2505.02833},
year = {2025}
}
备注
Project website: https://humanoid-teleop.github.io