用于机器人遥操作的辐射场

辐射场方法，如神经辐射场（NeRF）或3D 高斯溅写（3DGS），已彻底改变了图形学和新视角合成。其能够以照片般的质量合成新视角，以及捕获复杂的体积和镜面场景，使其成为机器人遥操作 setup 的理想可视化。直接相机遥操作提供高保真操作，代价是可操控性，而基于重建的方法则提供可控场景但保真度较低。鉴于此，我们提出用在线辐射场取代机器人遥操作管道中传统的重建-可视化组件，实现高度可操控的场景并具备照片级质量。因此，本文对state of the art有三个主要贡献：(1) 使用来自多个摄像机的实时数据对辐射场进行在线训练；(2) 支持多种辐射方法，包括NeRF和3DGS；(3) 这些方法的可视化套件，包括虚拟现实场景。为实现与现有 setup无缝集成，这些组件在多个机器人上进行了测试，使用传统工具以及VR头显进行显示。结果在不同方法和机器人之间与网格重建的基准进行了定量比较，并进行了用户研究来比较不同可视化方法。对于视频和代码，请访问 https://rffr.leggedrobotics.com/works/teleoperation/。