PanSplat：基于前馈高斯泼溅的 4K 全景图合成
计算机视觉与模式识别
2025-03-25 v2
摘要
随着便携式 360 度相机的出现，全景图在虚拟现实（VR）、虚拟导览、机器人和自动驾驶等应用中获得了显著关注。因此，宽基线全景视图合成已成为一项重要任务，其中高分辨率、快速推理和内存效率至关重要。然而，由于极高的内存和计算需求，现有方法通常局限于较低的分辨率（512 × 1024）。在本文中，我们提出了 PanSplat，一种可泛化的前馈方法，可高效支持高达 4K（2048 × 4096）的分辨率。我们的方法采用定制的球形 3D 高斯金字塔与斐波那契晶格排列，在减少信息冗余的同时提升了图像质量。为了适应高分辨率的需求，我们提出了一种集成分层球形代价卷和具有局部操作的高斯头的流水线，实现了两步延迟反向传播，从而在单张 A100 GPU 上进行内存高效的训练。实验表明，PanSplat 在合成和真实世界数据集上均以卓越的效率和图像质量取得了 SOTA 结果。代码可在 https://github.com/chengzhag/PanSplat 获取。
引用
@article{arxiv.2412.12096,
title = {PanSplat: 4K Panorama Synthesis with Feed-Forward Gaussian Splatting},
author = {Cheng Zhang and Haofei Xu and Qianyi Wu and Camilo Cruz Gambardella and Dinh Phung and Jianfei Cai},
journal= {arXiv preprint arXiv:2412.12096},
year = {2025}
}
备注
Camera Ready of CVPR2025. Project Page: https://chengzhag.github.io/publication/pansplat/ Code: https://github.com/chengzhag/PanSplat