无缝桥接连续全景三维重建与透视高斯点云:无需过渡平面的必要性
计算机视觉与模式识别
2025-04-15 v1
摘要
最近的研究聚焦于利用先进的三维高斯点云(3DGS)技术从单张全景图像重建场景。全景图像拥有 360 180 视场(FoV),能够单拍捕获整个场景。然而,全景图像引入严重的畸变,使直接将三维高斯渲染到二维畸变等距圆柱空间具有挑战性。将等距圆柱图像转换为立方体投影虽部分缓解了此问题,但引入了新的挑战,如投影畸变和立方体面边界的不连续性。为解决这些限制,我们提出了一种新框架,命名为 TPGS(Transition Plane Gaussian Splatting),以桥接连续全景三维场景重建与透视高斯点云。首先,我们在相邻立方体面之间引入过渡平面,以实现渲染方向的平滑过渡并缓解边界区域的优化歧义。此外,提出了一种类内到类间面优化策略,以增强局部细节并恢复立方体面边界的视觉一致性。具体而言,我们先在单个立方体面上优化三维高斯,然后在拼接后的全景空间中进行微调。此外,我们引入了球面采样技术以消除可见的接缝痕迹。在室内外、环视和漫游基准数据集上进行的大量实验表明,我们的方法在现有最先进方法中取得了优异的性能。代码和模型将在 https://github.com/zhijieshen-bjtu/TPGS 提供。
引用
@article{arxiv.2504.09062,
title = {You Need a Transition Plane: Bridging Continuous Panoramic 3D Reconstruction with Perspective Gaussian Splatting},
author = {Zhijie Shen and Chunyu Lin and Shujuan Huang and Lang Nie and Kang Liao and Yao Zhao},
journal= {arXiv preprint arXiv:2504.09062},
year = {2025}
}