ExoGS：一种用于可扩展操作数据收集的 4D Real-to-Sim-to-Real 框架
机器人学
2026-01-27 v1
摘要
Real-to-Sim-to-Real 技术在机器人操作领域正受到越来越多的关注，因为它可以在模拟中生成可扩展的数据，同时具有更小的 sim-to-real 差距。然而，以往的方法主要关注环境层面的视觉 real-to-sim 迁移，忽略了交互的迁移，而纯粹在模拟中获取交互对于富接触任务尤其困难且低效。我们提出了 ExoGS，一种无机器人的 4D Real-to-Sim-to-Real 框架，它可以在真实世界中捕获静态环境和动态交互，并无缝地将其迁移到模拟环境中。它为可扩展的操作数据收集和策略学习提供了一种新方案。ExoGS 采用自主设计的机器人同构被动外骨骼 AirExo-3，在直接人类演示期间捕获具有毫米级精度和同步 RGB 观测的运动学一致轨迹。机器人、物体和环境被重建为可编辑的 3D Gaussian Splatting 资产，从而实现几何一致的回放和大规模数据增强。此外，轻量级 Mask Adapter 将实例级语义注入策略中，以增强在视觉域偏移下的鲁棒性。真实世界实验表明，与基于遥操作的基线相比，ExoGS 显著提高了数据效率和策略泛化能力。代码和硬件文件已发布于 https://github.com/zaixiabalala/ExoGS。
引用
@article{arxiv.2601.18629,
title = {ExoGS: A 4D Real-to-Sim-to-Real Framework for Scalable Manipulation Data Collection},
author = {Yiming Wang and Ruogu Zhang and Minyang Li and Hao Shi and Junbo Wang and Deyi Li and Jieji Ren and Wenhai Liu and Weiming Wang and Hao-Shu Fang},
journal= {arXiv preprint arXiv:2601.18629},
year = {2026}
}