TWIST2：可扩展、可移�且全息的人形机器人数据收集系统
机器人学
2025-11-05 v1 计算机视觉与模式识别
机器学习
摘要
大规模数据推动了机器人学的突破，涵盖从语言模型到视觉-语言-动作模型的双手操作。然而，人形机器人缺乏同样有效的数据收集框架。现有人形机器人遥操作系统要么采用解耦控制，要么依赖昂贵的运动捕捉设备。我们引入 TWIST2，一个可移植、无运动捕捉的人形机器人遥操作和数据收集系统，同时保持完整的全身控制并提升可扩展性。该系统利用 PICO4U VR 获取实时全身人体动作，并配备定制的 2 自由度机器人颈部（约 250 美元）实现鸷象视角，实现全身人类到人形机器人的控制。我们展示了长时程灵巧和移动人形机器人技能，能够在约 15 分钟内收集 100 个演示，且几乎 100% 成功率。基于此管道，我们提出了层次化视觉-运动策略框架，能够基于鸷象视角自主控制完整的人形机器人身体。我们的视觉-运动策略成功演示了全身灵巧操控和动态踢踏任务。整个系统完全可复现并已开源于 https://yanjieze.com/TWIST2。我们收集的数据集也已开源于 https://twist-data.github.io。
引用
@article{arxiv.2511.02832,
title = {TWIST2: Scalable, Portable, and Holistic Humanoid Data Collection System},
author = {Yanjie Ze and Siheng Zhao and Weizhuo Wang and Angjoo Kanazawa and Rocky Duan and Pieter Abbeel and Guanya Shi and Jiajun Wu and C. Karen Liu},
journal= {arXiv preprint arXiv:2511.02832},
year = {2025}
}
备注
Website: https://yanjieze.com/TWIST2