用于激光雷达视图合成与三维重建的瞬态神经辐射场

神经辐射场（NeRFs）已成为从多视角图像建模场景外观与几何的普遍工具。近期工作也开始探索如何在 NeRF 框架中利用来自激光雷达或深度传感器测量的额外监督。然而，先前激光雷达监督的 NeRF 聚焦于渲染常规相机图像，并将激光雷达衍生的点云数据作为辅助监督；因此，它们未能纳入激光雷达底层的图像形成模型。在此，我们提出一种渲染瞬态 NeRF 的新方法，其输入为单光子激光雷达系统测量的原始、时间分辨光子计数直方图，并力求从新视角渲染此类直方图。与常规 NeRF 不同，该方法依赖体积渲染方程的时间分辨版本来渲染激光雷达测量并捕获皮秒时间尺度上的瞬态光传输现象。我们在一个首创的由原型单光子激光雷达获取的模拟与捕获瞬态多视角扫描数据集上评估了我们的方法。总体而言，我们的工作将 NeRF 带入瞬态时间尺度成像的新维度，新近实现了从新视角渲染瞬态图像。此外，我们表明，在少量输入视角上训练时，与点云监督相比，我们的方法恢复了改进的几何与常规外观。瞬态 NeRF 可能对旨在为自动驾驶、机器人与遥感中下游任务模拟原始激光雷达测量的应用尤为有用。