RoboTwin：基于生成式数字孪生的双臂机器人基准（早期版本）
机器人学
2025-04-17 v3 人工智能
计算与语言
摘要
在快速发展的机器人领域，双臂协调与复杂物体操作是开发先进自主系统的核心能力。然而，多样化、高质量演示数据及与真实世界对齐的评估基准的匮乏，严重限制了此类发展。为解决这一问题，我们引入了 RoboTwin，这是一个生成式数字孪生框架，利用 3D 生成式基础模型和大型语言模型来生成多样化的专家数据集，并为双臂机器人任务提供与真实世界对齐的评估平台。具体而言，RoboTwin 从单张 2D 图像创建物体的多样化数字孪生，生成逼真且可交互的场景。它还引入了一个空间关系感知的代码生成框架，将物体标注与大型语言模型相结合，以分解任务、确定空间约束并生成精确的机器人运动代码。我们的框架提供了一个包含模拟和真实世界数据的综合基准，实现了标准化评估，并使模拟训练与真实世界性能之间更好地对齐。我们使用开源的 COBOT Magic Robot 平台验证了该方法。在 RoboTwin 生成的数据上预训练并使用有限真实样本微调的策略，与仅在真实世界数据上训练的模型相比，单臂任务的成功率提高了 70% 以上，双臂任务提高了 40% 以上。这一显著提升证明了 RoboTwin 在增强双臂机器人操作系统开发与评估方面的潜力。项目页面：https://robotwin-benchmark.github.io/early-version/。
引用
@article{arxiv.2409.02920,
title = {RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (early version)},
author = {Yao Mu and Tianxing Chen and Shijia Peng and Zanxin Chen and Zeyu Gao and Yude Zou and Lunkai Lin and Zhiqiang Xie and Ping Luo},
journal= {arXiv preprint arXiv:2409.02920},
year = {2025}
}
备注
Project page: https://robotwin-benchmark.github.io/early-version/