SGD：基于高斯泼溅和扩散先验的街景合成
计算机视觉与模式识别
2024-04-01 v1
摘要
街景的新视角合成（NVS）在自动驾驶仿真中起着关键作用。当前实现该技术的主流方法是神经渲染，例如神经辐射场（NeRF）和3D高斯泼溅（3DGS）。尽管取得了令人振奋的进展，但在处理街景时，当前方法难以在偏离训练视角较大的视点上保持渲染质量。这个问题源于移动车辆上固定相机捕获的稀疏训练视图。为了解决这个问题，我们提出了一种新颖的方法，通过利用扩散模型的先验以及互补的多模态数据来增强3DGS的能力。具体来说，我们首先通过添加相邻帧的图像作为条件来微调扩散模型，同时利用来自LiDAR点云的深度数据提供额外的空间信息。然后，我们在训练过程中应用扩散模型对未见视图上的3DGS进行正则化。实验结果验证了我们的方法相对于当前最先进模型的有效性，并展示了其在更广视角下渲染图像的优势。
引用
@article{arxiv.2403.20079,
title = {SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior},
author = {Zhongrui Yu and Haoran Wang and Jinze Yang and Hanzhang Wang and Zeke Xie and Yunfeng Cai and Jiale Cao and Zhong Ji and Mingming Sun},
journal= {arXiv preprint arXiv:2403.20079},
year = {2024}
}