PanoSplatt3R：利用透视预训练实现通用无姿态宽基准全景重建
计算机视觉与模式识别
2025-07-30 v1
摘要
宽基准全景重建已成为实现周围 3D 环境几何重建以及生成高质量逼真沉浸式新视角的高效且关键性方法。尽管现有方法在 various benchmarks 上展现卓越性能，但主要依赖准确的姿态信息。在实际场景中，获取精确姿态常需额外计算资源且易受噪声影响。这些限制阻碍了方法的广泛应用与实用性。本文提出 PanoSplatt3R，一种无姿态宽基准全景重建方法。我们扩展并适配自透视领域的基础重建预训练至全景领域，从而实现强大的泛化能力。为确保顺畅且高效的领域迁移过程，我们引入 RoPE 滚动技术，在不同注意力头之间跨越滚动坐标的 rotary positional embeddings 中保持对 RoPE 机制的最小修改，同时建模全景图像的水平周期性。综合实验表明，PanoSplatt3R 在无姿态信息的情况下显著优于当前最先进的方法。这种优势体现在高质量新视角的生成以及深度估计的准确性上，彰显了其在实际应用中的巨大潜力。项目页面: https://npucvr.github.io/PanoSplatt3R
引用
@article{arxiv.2507.21960,
title = {PanoSplatt3R: Leveraging Perspective Pretraining for Generalized Unposed Wide-Baseline Panorama Reconstruction},
author = {Jiahui Ren and Mochu Xiang and Jiajun Zhu and Yuchao Dai},
journal= {arXiv preprint arXiv:2507.21960},
year = {2025}
}
备注
Accepted to ICCV 2025