Real2Render2Real：无需动力学仿真或机器人硬件扩展机器人数据
机器人学
2025-05-15 v1
摘要
扩大机器人学习的数据集需要大量且多样化的数据。然而，当前的数据收集范例——人类遥操作——仍然昂贵且受制于人工 effort 和物理机器人访问限制。我们引入 Real2Render2Real（R2R2R），一种无需依赖物体动力学仿真或遥操作机器人硬件即可生成机器人训练数据的新方法。输入是一部由智能手机拍摄的单个或多个物体扫描，以及一段人类演示视频。R2R2R 通过重建详细的 3D 物体几何和外观，并跟踪 6 自由度物体运动，来渲染数千个高保真机器人无关演示。R2R2R 使用 3D 高斯溶解（3DGS）实现灵活的资产生成和轨迹合成，适用于刚性和关节式物体，将这些表示转换为网格，以保持与诸如 IsaacLab 等可扩展渲染引擎的兼容性，但碰撞建模除外。由 R2R2R 生成的机器人演示数据可直接集成到运行于机器人本体状态和图像观察的模型中，例如面向视觉语言动作模型（VLA）和仿照学习策略。物理实验表明，使用 R2R2R 从单个人类演示生成的数据训练的模型性能，可媲美使用 150 份人类遥操作演示训练的模型。项目页面：https://real2render2real.com
引用
@article{arxiv.2505.09601,
title = {Real2Render2Real: Scaling Robot Data Without Dynamics Simulation or Robot Hardware},
author = {Justin Yu and Letian Fu and Huang Huang and Karim El-Refai and Rares Andrei Ambrus and Richard Cheng and Muhammad Zubair Irshad and Ken Goldberg},
journal= {arXiv preprint arXiv:2505.09601},
year = {2025}
}