FreeSplat：通用 3D 高斯溅射用于室内场景的自由视角合成

赋予 3D 高斯溅射以泛化能力颇具吸引力。然而，现有的通用 3D 高斯溅射方法主要局限于由于重型 backbone 而受限于立体图像之间的狭窄插值，缺乏准确定位 3D 高斯并支持跨宽视角范围的自由视角合成的能力。本文提出了一种新型框架 FreeSplat，能够从长序列输入中重建几何一致的 3D 场景，以实现自由视角合成。具体而言，我们首先引入 Low-cost Cross-View Aggregation，通过在相邻视角之间构建自适应 cost volumes 并使用多尺度结构聚合特征来实现。随后，我们提出了 Pixel-wise Triplet Fusion 以消除重叠视角区域 3D 高斯的冗余，并聚合跨多个视角观察到的特征。此外，我们提出一种简单而有效的自由视角训练策略，确保在更广阔的视角范围内实现稳健的视角合成，无需依赖视角数量。我们的实验结果表明，FreeSplat 在不同输入视角数量下，均在新视角渲染彩色图质量和深度图准确性方面实现了最先进的性能。我们还展示了 FreeSplat 的推理更高效，可有效减少冗余高斯，为无深度先验的大场景前馈重建提供了可能。