Real-is-Sim:以动态数字孪生跨越仿真到现实的鸿沟
机器人学
2025-07-03 v2 人工智能
摘要
我们提出 real-is-sim,一种将仿真集成到行为克隆流程中的新方法。与缺乏部署前安全测试策略能力的纯真实方法,以及需要复杂适配才能跨越仿真到现实鸿沟的仿真到现实方法不同,我们的框架允许策略在真实硬件上运行与在并行化虚拟环境中运行之间无缝切换。real-is-sim 的核心是由 Embodied Gaussian 仿真器驱动的动态数字孪生,它以 60Hz 与真实世界同步。该孪生充当行为克隆策略与真实机器人之间的中介。策略使用由仿真器状态导出的表征进行训练,始终作用于仿真机器人,而非真实机器人。部署期间,真实机器人仅跟随仿真机器人的关节状态,仿真则通过真实世界测量持续校正。这种由仿真器驱动所有策略执行并与物理世界保持实时同步的设置,将跨越仿真到现实鸿沟的责任转移到了数字孪生的同步机制上,而非策略本身。我们在长时域操作任务(PushT)上展示了 real-is-sim,表明虚拟评估与真实世界结果一致。我们进一步展示了如何用虚拟回放增强真实世界数据,并与基于仿真器状态不同表征(包括物体位姿以及来自静态和机器人搭载相机的渲染图像)训练的策略进行比较。我们的结果凸显了 real-is-sim 框架在训练、评估和部署阶段的灵活性。视频见 https://real-is-sim.github.io。
引用
@article{arxiv.2504.03597,
title = {Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin},
author = {Jad Abou-Chakra and Lingfeng Sun and Krishan Rana and Brandon May and Karl Schmeckpeper and Niko Suenderhauf and Maria Vittoria Minniti and Laura Herlant},
journal= {arXiv preprint arXiv:2504.03597},
year = {2025}
}