LiDAR-NeRF：基于神经辐射场的新型 LiDAR 视角合成
计算机视觉与模式识别
2023-07-17 v2
摘要
我们引入了一项新任务：LiDAR 传感器的新视角合成。虽然带有风格迁移神经网络的基于传统模型的 LiDAR 模拟器可用于渲染新视角，但它们无法生成准确且真实的 LiDAR 模式，因为渲染器依赖于显式 3D 重建并利用游戏引擎，忽略了 LiDAR 点的重要属性。我们通过将这一问题公式化为（据我们所知）首个可微端到端 LiDAR 渲染框架 LiDAR-NeRF 来应对该挑战，其利用神经辐射场（NeRF）来促进几何与 3D 点属性的联合学习。然而，简单地使用 NeRF 无法获得满意结果，因为它只关注学习单个像素而忽略局部信息，尤其在低纹理区域，导致几何质量差。为此，我们采取措施引入结构正则化方法来保留局部结构细节。为评估我们方法的有效性，我们建立了一个以物体为中心的多视角 LiDAR 数据集，称为 NeRF-MVL。它包含用多个 LiDAR 传感器从 360 度视角捕获的 9 类物体的观测。我们在场景级 KITTI-360 数据集以及我们的物体级 NeRF-MVL 上的大量实验表明，我们的 LiDAR-NeRF 显著超越了基于模型的算法。
引用
@article{arxiv.2304.10406,
title = {LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields},
author = {Tang Tao and Longfei Gao and Guangrun Wang and Yixing Lao and Peng Chen and Hengshuang Zhao and Dayang Hao and Xiaodan Liang and Mathieu Salzmann and Kaicheng Yu},
journal= {arXiv preprint arXiv:2304.10406},
year = {2023}
}
备注
This paper introduces a new task of novel LiDAR view synthesis, and proposes a differentiable framework called LiDAR-NeRF with a structural regularization, as well as an object-centric multi-view LiDAR dataset called NeRF-MVL