PlatoNeRF：通过单视图双反弹 Lidar 在柏拉图洞穴中进行 3D 重建

由于单眼线索的模糊性以及缺乏关于遮挡区域的信息，单视图 3D 重建具有挑战性。神经辐射场 (NeRF) 虽在视图合成和 3D 重建中广受欢迎，但通常依赖于多视图图像。现有的基于 NeRF 的单视图 3D 重建方法要么依赖数据先验来幻视遮挡区域的视图（这可能不符合物理事实），要么依赖 RGB 相机观测到的阴影（这在环境光和低反照率背景下难以检测）。我们提出利用单光子雪崩二极管捕获的飞行时间数据来克服这些限制。我们的方法使用 Lidar 瞬态数据进行监督，对双反弹光路进行 NeRF 建模。通过结合 NeRF 的优势与 Lidar 测量的双反弹光线，我们证明了无需数据先验或依赖受控环境光照及场景反照率，即可重建可见和遮挡的几何结构。此外，我们展示了在传感器空间和时间分辨率的实际约束下泛化能力的提升。我们认为，随着单光子 Lidar 在手机、平板电脑和头戴设备等消费电子产品中变得普及，我们的方法是一个充满希望的方向。