Reality Fusion：基于体积视觉数据融合的鲁棒实时沉浸式移动机器人遥操作
机器人学
2025-08-08 v2
摘要
我们提出了 Reality Fusion，一种新型机器人遥操作系统，该系统将典型的机载深度传感器与以 3D 高斯溅射 (3DGS) 表示的远程环境的照片级真实感、高分辨率、高帧率、宽视场 (FoV) 渲染进行定位、流式传输、投影和融合。我们的框架支持在沉浸式 VR 中进行鲁棒的自我中心视角和外部视角机器人遥操作，3DGS 有效扩展了视场受限的深度传感器的空间信息，并在数据流传输成本与数据视觉质量之间取得平衡。我们通过一项包含 24 名参与者的用户研究对该框架进行了评估，结果表明 Reality Fusion 显著提升了用户性能、态势感知和用户偏好。为支持进一步的研究与开发，我们提供了一个开源实现，其中包括易于复现的自制远程临场机器人、高性能虚拟现实 3DGS 渲染器以及沉浸式机器人控制包。（源代码：https://github.com/uhhhci/RealityFusion）
引用
@article{arxiv.2408.01225,
title = {Reality Fusion: Robust Real-time Immersive Mobile Robot Teleoperation with Volumetric Visual Data Fusion},
author = {Ke Li and Reinhard Bacher and Susanne Schmidt and Wim Leemans and Frank Steinicke},
journal= {arXiv preprint arXiv:2408.01225},
year = {2025}
}
备注
Accepted at IROS 2024