UC-NeRF：面向自动驾驶中欠标定多视角相机的神经辐射场
计算机视觉与模式识别
2023-12-12 v2
摘要
多相机设置在自动驾驶等多种应用中被广泛使用，因其极大扩展了感知能力。尽管神经辐射场（NeRF）技术发展迅速且已在室内外场景中广泛应用，将 NeRF 应用于多相机系统仍非常具有挑战性。这主要源于多相机设置中固有的欠标定问题，包括不同相机分别标定的图像信号处理单元导致的成像效果不一致，以及驾驶过程中机械振动引起的系统误差影响相机间相对位姿。本文提出 UC-NeRF，一种专为欠标定多视角相机系统中新视角合成设计的新方法。首先，我们提出基于图层的颜色校正以修正不同图像区域的颜色不一致。其次，我们提出虚拟扭曲生成视角更多样但颜色一致的虚拟视图，用于颜色校正与三维重建。最后，设计时空约束的位姿精化以实现多相机系统中更鲁棒且准确的位姿标定。我们的方法不仅在多相机设置的新视角合成上达到 SOTA 性能，还借助合成的新视角有效促进了大规模室外场景的深度估计。
引用
@article{arxiv.2311.16945,
title = {UC-NeRF: Neural Radiance Field for Under-Calibrated Multi-view Cameras in Autonomous Driving},
author = {Kai Cheng and Xiaoxiao Long and Wei Yin and Jin Wang and Zhiqiang Wu and Yuexin Ma and Kaixuan Wang and Xiaozhi Chen and Xuejin Chen},
journal= {arXiv preprint arXiv:2311.16945},
year = {2023}
}
备注
See the project page for code, data: https://kcheng1021.github.io/ucnerf.github.io