CE-NPBG:面向自动驾驶场景新视角合成的连通性增强神经点基图形学方法
计算机视觉与模式识别
2025-04-29 v1
摘要
现有基于点的方法在使用大规模三维点云地图进行新视角合成(NVS)时,在可扩展性与渲染质量方面存在局限,因为直接使用这些点云进行新视角合成会导致可视化质量下降。我们将导致这些低质量渲染结果的主要原因归结为几何与外观之间的可见性不一致,源于这两种模态的联合使用。为解决该问题,我们提出 CE-NPBG,一种用于大规模自动驾驶场景新视角合成(NVS)的新方法。我们的方法是一种神经点基技术,利用两种模态:已定位图像(相机)与同步的原始三维点云(LiDAR)。我们首先构建外观与几何之间的连通性关系图,从当前相机视角下观测到的大规模三维点云地图中检索点,并将其用于渲染。通过利用这种连通性,我们的方法显著提升了渲染质量,并通过仅使用大规模三维点云地图中的小子集,改善了运行时间与可扩展性。我们的方法将神经描述子与点相关联,并利用它们合成视图。为增强这些描述子的编码并提升渲染质量,我们提出一种联合对抗训练与点光栅化训练。在训练阶段,我们将一个图像合成器网络与一个多分辨率判别器配对;在推理阶段,我们将二者解耦,仅使用图像合成器生成新视角。我们还将所提方案集成到近期的 3D Gaussian Splatting 工作中,以凸显其在提升渲染质量与可扩展性方面的优势。
引用
@article{arxiv.2504.19557,
title = {CE-NPBG: Connectivity Enhanced Neural Point-Based Graphics for Novel View Synthesis in Autonomous Driving Scenes},
author = {Mohammad Altillawi and Fengyi Shen and Liudi Yang and Sai Manoj Prakhya and Ziyuan Liu},
journal= {arXiv preprint arXiv:2504.19557},
year = {2025}
}
备注
Accepted in 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)