基于场景概念学习的可见性不确定性导引的3D高斯填充

3D高斯溶解(3DGS)已成为新视角合成的强大且高效的3D表示。本文将3DGS的能力扩展到填充任务，其中场景中被遮挡的对象被替换为与周围环境无缝融合的新内容。与2D图像填充不同，3D高斯填充(3DGI)在有效利用来自多个输入视角的互补视觉和语义线索方面具有挑战，因为一个视角中被遮挡的区域可能在其他视角中可见。为此，我们提出了一种方法，通过测量3D点在不同输入视角中的可见性不确定性，并利用这些不确定性来指导3DGI在利用互补视觉线索方面。我们还使用不确定性来学习场景的语义概念，而无需被填充的对象，然后基于所学概念使用扩散模型填充输入图像中的被填充对象。最后，我们构建了一个新的3DGI框架VISTA，将VISibility-uncerTainty-guided 3DGI与scene conceptuAl learning集成。VISTA生成高质量的3DGS模型，能够合成无artifact且自然的填充后新视角。此外，我们的方法也适用于处理来自时间对象变化的动态干扰项，增强了其在多样化场景重建场景中的通用性。我们在两个具有挑战性的数据集上展示了方法的优越性能：SPIn-NeRF数据集包含10个 diverse static 3D填充场景，以及一个来自UTB180的 underwater 3D填充数据集，其中包括快速移动的鱼类作为填充目标。