S-NeRF：面向街景的神经辐射场
计算机视觉与模式识别
2023-03-02 v1
摘要
神经辐射场（NeRFs）旨在给定物体中心、具有大重叠的相机视角下合成物体与场景的新视角。然而，我们意识到这一范式并不契合由多辆自动驾驶车从大规模无界场景采集的街景性质。并且，车载相机感知的场景重叠很少。因此，现有 NeRFs 在街景合成上常产生模糊、“漂浮物”及其他伪影。本文中，我们提出一种新的街景 NeRF（S-NeRF），联合考虑大规模背景场景与前景运动车辆的新视角合成。具体而言，我们改进场景参数化函数与相机位姿，以从街景中学习更好的神经表示。我们还利用含噪且稀疏的 LiDAR 点提升训练，并学习基于鲁棒几何与重投影的置信度以应对深度离群值。此外，我们将 S-NeRF 扩展至重建运动车辆，这是常规 NeRFs 难以实现的。在大规模驾驶数据集（如 nuScenes 和 Waymo）上的充分实验表明，我们的方法在街景合成上将均方误差降低 7% 至 40%，并在运动车辆渲染上获得 45% 的 PSNR 增益，优于最先进对手。
引用
@article{arxiv.2303.00749,
title = {S-NeRF: Neural Radiance Fields for Street Views},
author = {Ziyang Xie and Junge Zhang and Wenye Li and Feihu Zhang and Li Zhang},
journal= {arXiv preprint arXiv:2303.00749},
year = {2023}
}
备注
ICLR 2023