NeRF2Points：从街道视图辐射场优化生成大规模点云
计算机视觉与模式识别
2024-04-09 v1
摘要
神经辐射场（NeRF）已成为一种范式转换方法，用于物体和环境的真实感渲染，能够以极高的保真度合成新视角。这是通过战略性地利用以物体为中心的相机位姿来实现的，这些位姿的特征是显著的帧间重叠。本文探索了 NeRF 的一种引人注目的替代用途：从聚合的城市景观图像中提取点云。将街景数据转换为点云充满复杂性，这归因于相互依赖变量的交织。首先，高质量点云生成依赖于精确的相机位姿，然而许多数据集的位姿元数据存在不准确之处。此外，NeRF 的标准方法不适用于在广阔开放环境中自动驾驶车辆街景数据的独特特征。自动驾驶车辆相机记录的图像通常重叠有限，导致基于 NeRF 的点云出现模糊、伪影以及路面表示受损。在本文中，我们提出了 NeRF2Points，一种专为城市点云合成定制的 NeRF 变体，其显著特点在于仅从 RGB 输入即可产生高质量输出。本文得到了一个定制的高分辨率 20 公里城市街道数据集的支持，该数据集专为点云生成和评估而设计。NeRF2Points 通过实施以下战略创新，巧妙地应对了基于 NeRF 的点云合成所固有的挑战：(1) 集成加权迭代几何优化（WIGO）和运动恢复结构（SfM）以提高相机位姿精度，从而提升街景数据的精度。(2) 分层感知与集成建模（LPiM）专为城市环境中独特的辐射场建模而设计，从而产生连贯的点云表示。
引用
@article{arxiv.2404.04875,
title = {NeRF2Points: Large-Scale Point Cloud Generation From Street Views' Radiance Field Optimization},
author = {Peng Tu and Xun Zhou and Mingming Wang and Xiaojun Yang and Bo Peng and Ping Chen and Xiu Su and Yawen Huang and Yefeng Zheng and Chang Xu},
journal= {arXiv preprint arXiv:2404.04875},
year = {2024}
}
备注
18 pages