用于移动机器人沉浸式遥操作与实时探索的 VR 系统

灾害管理与工业检测等应用常需专家进入受污染场所。为规避实地到场需求，期望生成完全沉浸式的个人实时遥操作体验。然而，标准基于视频的方法因受限于相机视角，沉浸度与态势感知程度有限，进而影响导航。本文中，我们提出一种基于 VR 的新型实用系统，用于沉浸式机器人遥操作与场景探索。机器人在场景中受操作时捕获 RGB-D 数据，并流式传输至基于 SLAM 的实时多客户端远程呈现系统。此处，已捕获场景部分的全局 3D 模型被重建并流式传输至各个远程用户客户端，在其中执行面向例如头戴式显示设备（HMD）的渲染。我们引入一种新型轻量机器人客户端组件，传输机器人特定数据并实现与现有机器人系统的快速集成。由此，与第一人称探索系统不同，操作员可完全独立于捕获机器人的当前位置与视角在远端站点探索与导航，补充了遥操作的常规输入设备。我们提供了概念验证实现，并展示了系统在交互式物体测量及带宽高效数据流与可视化方面的能力及性能。此外，我们在用户研究中显示了其相较纯视频遥操作的优势，即更高的态势感知度与在挑战性环境中更精确的导航。