SiLVR：具有不确定性量化的可扩展激光雷达-视觉辐射场重建

我们提出了一种基于神经辐射场（NeRF）的大规模重建系统，该系统融合了激光雷达和视觉数据，以生成几何精确且捕获逼真纹理的高质量重建。我们的系统采用最先进的 NeRF 表示来融合激光雷达。添加激光雷达数据在深度和表面法线上增加了强大的几何约束，这在建模包含模糊视觉重建线索的均匀纹理表面时特别有用。这项工作的一个关键贡献是一种新颖的方法，通过估计给定相机和激光雷达传感器观测下辐射场中每个点位置的空间方差，来量化激光雷达-视觉 NeRF 重建的认知不确定性。这为评估每种传感器模态对最终重建的贡献提供了一种原则性的方法。通过这种方式，可以识别并移除不确定的重建（例如，由于均匀的视觉纹理、有限的观测视角或激光雷达覆盖不足）。我们的系统集成了一个实时激光雷达 SLAM 系统，该系统用于引导运动恢复结构（SfM）重建过程。它还有助于正确约束整体度量尺度，这对于激光雷达深度损失至关重要。然后，可以使用谱聚类将精化的 SLAM 轨迹划分为子地图，以将共视图像集分组在一起。这种子地图方法比基于距离的划分更适合视觉重建。我们的不确定性估计在合并子地图时特别有效，因为它们的边界通常由于观测有限而存在伪影。我们使用多相机、激光雷达传感器套件，在涉及机器人搭载和手持扫描的实验中演示了该重建系统。我们的测试数据集覆盖总面积超过 20,000 平方米。