基于高斯溅写的机器人策略评估：从真实到模拟的软体相互作用
机器人学
2025-11-11 v2 计算机视觉与模式识别
机器学习
摘要
机器人操作策略正在迅速发展，但其在真实世界中的直接评估仍然昂贵、耗时且难以复现，尤其是对于涉及可变形物体的任务。仿真提供了一种可扩展且系统化的替代方案，但现有的仿真器往往无法捕捉软体相互作用中视觉与物理耦合的复杂性。我们提出了一种从真实世界视频构建软体数字孪 replica 并利用 3D 高斯溅写实现机器人、物体和环境高度光幻保真渲染的真实到仿真策略评估框架。我们在代表性可变形操作任务上进行了验证，包括绒毛玩具包装、绳索路由和 T 形块推送，结果表明仿真滚动结果与真实世界执行性能呈强烈相关性，并揭示了所学策略的关键行为模式。我们的研究表明，结合基于物理的重建与高质量渲染，能够实现机器人操作策略的可复现、可扩展且精准评估。网站：https://real2sim-eval.github.io/
引用
@article{arxiv.2511.04665,
title = {Real-to-Sim Robot Policy Evaluation with Gaussian Splatting Simulation of Soft-Body Interactions},
author = {Kaifeng Zhang and Shuo Sha and Hanxiao Jiang and Matthew Loper and Hyunjong Song and Guangyan Cai and Zhuo Xu and Xiaochen Hu and Changxi Zheng and Yunzhu Li},
journal= {arXiv preprint arXiv:2511.04665},
year = {2025}
}
备注
The first two authors contributed equally. Website: https://real2sim-eval.github.io/