基于跨视角不确定性的无人机辅助道路高斯泼溅

大规模道路场景的鲁棒且逼真的渲染对于自动驾驶模拟至关重要。最近，3D高斯泼溅（3D-GS）在神经渲染方面取得了突破性进展，但大规模道路场景渲染的通用保真度通常受到输入图像的限制，这些图像通常视野狭窄，且主要关注街景局部区域。直观上，无人机视角的数据可以为地面车辆视角的数据提供互补的视点，增强场景重建和渲染的完整性。然而，使用具有大视角差异的航拍和地面图像进行朴素训练，给3D-GS带来了显著的收敛挑战，并且在道路视图上的性能没有显著提升。为了增强道路视图的新视角合成并有效利用航拍信息，我们设计了一种不确定性感知的训练方法，该方法允许航拍图像辅助合成地面图像学习效果较差的区域，而不是像先前工作那样在3D-GS训练中对所有像素进行同等加权。我们是第一个通过将基于车辆视角集成的渲染不确定性与航拍图像匹配，将跨视角不确定性引入3D-GS，从而加权每个像素对训练过程的贡献。此外，为了系统地量化评估指标，我们组装了一个高质量的综合数据集，其中包含道路场景的航拍和地面图像。