宽基准全景图像的通用 360${}^\circ$ 高斯溅射

宽基准全景图像常用于 VR 和模拟等应用，以最小化捕获 Labor 成本和存储需求。然而，在宽基准全景图像上实现实时从这些图像合成新视图仍是一个重大挑战，尤其是由于全景图像的高分辨率和固有畸变。虽然现有的 3D 高斯溅射（3DGS）方法可以在窄基准下产生照片级真实感，但在处理宽基准全景图像时常因难以从稀疏的 360${}^\circ$ 视图中学习精确几何信息而过拟合训练视图。本文提出了\textit{Splatter-360}，一种新型的端到端通用 3DGS 框架，用于处理宽基准全景图像。不同于以往方法，\textit{Splatter-360} 在球面域中直接进行多视图匹配，通过球面扫掠算法构建球面代价体，从而增强网络的深度感知和几何估计。此外，我们引入 3D aware 双投影编码器以消除全景图像固有的畸变，并集成跨视图注意力以提高多个视角之间的特征相互作用。这使得能够构建稳健的 3D aware 特征表示并实现实时渲染能力。在 HM3D 和 Replica 数据集上的实验结果表明，\textit{Splatter-360} 在合成质量和广泛性表现上显著优于最先进的 NeRF 和 3DGS 方法（如 PanoGRF、MVSplat、DepthSplat 和 HiSplat）。代码和训练好的模型可在 \url{https://3d-aigc.github.io/Splatter-360/} 获取。