RoboTwin：基于生成式数字孪生体的双臂机器人基准
机器人学
2025-04-18 v1 人工智能
计算与语言
摘要
在快速发展的机器人领域，双臂协调和复杂物体操控是发展先进自主系统不可或缺的能力。然而，稀缺且高质量的示范数据以及现实中对齐的评估基准严重限制了这一能力的发展。为此，我们引入RoboTwin，一个利用3D生成式基础模型和大型语言模型产生多样化专家数据集并提供面向双臂机器人任务的现实中对齐评估平台的生成式数字孪生框架。具体而言，RoboTwin从单张2D图像创建多样化的对象数字孪生体，生成真实且交互的场景。它还引入了一种空间关系感知代码生成框架，将对象标注与大型语言模型结合，以分解任务、确定空间约束并生成精确的机器人运动代码。我们的框架提供了包含模拟数据和现实数据的数据综合基准，实现标准化评估并改善模拟训练与现实表现之间的对齐。我们使用开源的COBOT Magic机器人平台进行了验证。使用RoboTwin生成的数据预训练的策略经有限的现实样本微调后，针对单臂任务成功率提升超过70%，针对双臂任务成功率提升超过40%，显著优于仅使用现实数据训练的模型。
引用
@article{arxiv.2504.13059,
title = {RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins},
author = {Yao Mu and Tianxing Chen and Zanxin Chen and Shijia Peng and Zhiqian Lan and Zeyu Gao and Zhixuan Liang and Qiaojun Yu and Yude Zou and Mingkun Xu and Lunkai Lin and Zhiqiang Xie and Mingyu Ding and Ping Luo},
journal= {arXiv preprint arXiv:2504.13059},
year = {2025}
}
备注
CVPR 2025 Highlight. 22 pages. Project page: https://robotwin-benchmark.github.io/