基于神经渲染的自动驾驶城市场景重建

密集 3D 重建在自动驾驶中具有多种应用，包括自动标注验证、多模态数据增强、为缺乏 LiDAR 的系统提供真值标注，以及提升自动标注精度。LiDAR 提供高精度但稀疏的深度信息，而相机图像能够估计密集深度，但在远距离处噪声较大。本文利用两种传感器的优势，提出了一种结合神经隐式表面与辐射场的多模态 3D 场景重建框架。具体而言，我们的方法估计密集且准确的 3D 结构，并基于符号距离场（signed distance fields）创建隐式地图表示，该表示可进一步渲染为 RGB 图像和深度图。可以从学习到的符号距离场中提取网格，并基于遮挡进行裁剪。动态物体在采样过程中利用 3D 物体检测模型进行实时高效过滤。我们在具有挑战性的汽车场景中展示了定性和定量结果。