HarmonicNeRF：面向驾驶场景三维场景重建的几何感知合成视角增强方法
计算机视觉与模式识别
2024-07-26 v5
摘要
在自动驾驶领域，实现对驾驶环境的精确三维重建对于保障安全和有效导航至关重要。神经辐射场（NeRF）在构建复杂环境的高细节精确模型方面已展现出潜力。然而，NeRF 在自动驾驶场景中的应用面临若干挑战，主要源于相机轨迹固有的视角稀疏性，以及无界户外场景中通常沿预定路径进行的数据采集限制。这一局限不仅减少了可用的场景信息，也给 NeRF 训练带来显著挑战，因为稀疏且沿路径分布观测数据导致场景几何表示不足。本文提出 HarmonicNeRF，一种用于户外自监督单目场景重建的新方法。HarmonicNeRF 充分利用 NeRF 的优势，并通过以几何感知合成视角扩充输入空间来提升表面重建精度。这是通过应用球谐函数生成新辐射值实现的，同时仔细考虑来自有限真实视角的颜色观测。此外，我们的方法引入代理几何以有效处理遮挡，生成辐射伪标签，从而规避传统图像扭曲技术的局限——后者在自动驾驶环境典型的稀疏数据条件下往往失效。在 KITTI、Argoverse 和 NuScenes 数据集上开展的广泛实验表明，我们的方法在合成新深度视角与场景重建方面确立了新基准，显著优于现有方法。项目主页：https://github.com/Jiawei-Yao0812/HarmonicNeRF
引用
@article{arxiv.2310.05483,
title = {HarmonicNeRF: Geometry-Informed Synthetic View Augmentation for 3D Scene Reconstruction in Driving Scenarios},
author = {Xiaochao Pan and Jiawei Yao and Hongrui Kou and Tong Wu and Canran Xiao},
journal= {arXiv preprint arXiv:2310.05483},
year = {2024}
}
备注
Accepted by ACM MM 2024, project page: https://github.com/Jiawei-Yao0812/HarmonicNeRF