用于 XR 机器人遥控的多视角 3D 远端投影系统
机器人学
2026-04-07 v1
摘要
机器人遥控对于远程维护、车队机器人、搜救和机器人学习的数据收集等应用至关重要。有效的遥控需要直观的 3D 可视化，而传统基于屏幕的界面往往难以提供可靠的深度线索。我们引入一种多视角 VR 远端投影系统，该系统 (1) 从三台摄像机融合几何信息，在独立式 VR 硬件上实现 GPU 加速的点云渲染， (2) 将手环挂载的 RGB 流集成以提供点云精度受限处的高分辨率局部细节。我们的管道支持在 Meta Quest 3 上实现约 75k 点的实时渲染。对 31 名受试者进行了在受试者内的研究，以比较我们的方法与其他可视化模式，如 RGB 流、直接在 VR 设备中显示的立体视觉投影以及不提供额外 RGB 信息的点云。 在三个不同的遥控操纵任务中，我们测量了任务成功率、完成时间、感知负荷和可用性。我们的系统取得了最佳的整体性能，而且没有提供额外 RGB 信息的点云模式也优于 RGB 流和 OpenTeleVision。这些结果表明，将全局 3D 结构与局部高分辨率细节相结合显著改善了操纵的远端投影效果，为下一代机器人遥控系统提供了强大的基础。
引用
@article{arxiv.2604.03730,
title = {A Multi-View 3D Telepresence System for XR Robot Teleoperation},
author = {Enes Ulas Dincer and Manuel Zaremski and Alexandra Nick and Elias Wucher and Barbara Deml and Gerhard Neumann},
journal= {arXiv preprint arXiv:2604.03730},
year = {2026}
}