众包NeRF：面向3D街景重建从生产车辆收集数据
计算机视觉与模式识别
2024-06-25 v1 机器人学
摘要
最近，神经辐射场（NeRF）在新视角合成方面取得了令人印象深刻的成果。Block-NeRF展示了利用NeRF构建大型城市规模模型的能力。对于大规模建模，仍需要大量图像数据。不能从专门设计的数据收集车辆获取大规模数据。如何获取大量高质量数据仍是一个未解之谜。鉴于汽车行业拥有海量图像数据，众包是大规模数据收集的便利方式。本文提出了众包框架，利用生产车辆捕获的大量数据来构建NeRF模型进行场景重建。该方法解决了大规模重建的关键问题，即数据来源及其使用方式。首先，对众包的大量数据进行过滤，去除冗余并保持时间和空间上的均衡分布。然后执行结构从运动模块，以细化相机姿态。最后，使用图像及其姿态在特定块中训练NeRF模型。我们强调，本文提出了综合性框架，集成了多个模块，包括数据选择、稀疏3D重建、序列外观嵌入、地面深度监督和遮挡完成。该完整系统能够有效处理和重建来自众包数据的高质量3D场景。 conducted extensive quantitative and qualitative experiments to validate the performance of our system. 此外，我们提出了一种应用，名为first-view navigation，该应用利用NeRF模型生成3D街景并通过合成视频指导司机。
引用
@article{arxiv.2406.16289,
title = {Crowd-Sourced NeRF: Collecting Data from Production Vehicles for 3D Street View Reconstruction},
author = {Tong Qin and Changze Li and Haoyang Ye and Shaowei Wan and Minzhen Li and Hongwei Liu and Ming Yang},
journal= {arXiv preprint arXiv:2406.16289},
year = {2024}
}