高斯溅射的多视图几何正则化以实现精确辐射场

近期方法，如2D高斯溅射和高斯不透明度场，旨在解决3D高斯溅射的几何不准确性，同时保留其优越的渲染质量。然而，这些方法在重建平滑可靠的几何方面仍然存在困难，特别是在场景在不同视角间存在显著颜色变化的情况下，这是由于其逐点外观建模和单视图优化约束所致。在本文中，我们提出了一种有效的多视图几何正则化策略，将多视图立体（MVS）深度、RGB和法线约束集成到高斯溅射的初始化和优化中。我们的关键洞察在于MVS导出的深度点与高斯溅射优化位置之间的互补关系：MVS通过基于局部块的匹配和极线约束，在高颜色变化区域稳健地估计几何，而高斯溅射在物体边界附近和颜色变化较低的区域提供更可靠且噪声更少的深度估计。为利用这一洞察，我们引入了一种基于中值深度的多视图相对深度损失及不确定性估计，有效地将MVS深度信息集成到高斯溅射优化中。我们还提出了一种MVS引导的高斯溅射初始化，以避免高斯分布落入次优位置。大量实验验证了我们的方法成功结合了这些优势，在各种室内外场景中同时提升了几何精度和渲染质量。