SelfSplat：无需位姿与三维先验的可泛化三维高斯泼溅
计算机视觉与模式识别
2025-04-08 v5
摘要
我们提出了 SelfSplat，一种新颖的三维高斯泼溅模型，旨在从无位姿的多视图图像中进行无需位姿和三维先验的可泛化三维重建。由于缺乏真值数据、学习到的几何信息，并且需要在无需微调的情况下实现准确的三维重建，这些设置本质上是不适定的，这使得传统方法难以获得高质量结果。我们的模型通过将显式三维表示与自监督深度和位姿估计技术相结合来应对这些挑战，从而在位姿精度和三维重建质量方面实现相互提升。此外，我们引入了匹配感知的位姿估计网络和深度细化模块，以增强跨视图的几何一致性，确保更准确、更稳定的三维重建。为了展示我们方法的性能，我们在大规模真实世界数据集（包括 RealEstate10K、ACID 和 DL3DV）上进行了评估。SelfSplat 在外观和几何质量方面均优于先前的最先进方法，并展示了强大的跨数据集泛化能力。大量的消融实验和分析也验证了我们所提出方法的有效性。代码和预训练模型可在 https://gynjn.github.io/selfsplat/ 获取。
关键词
引用
@article{arxiv.2411.17190,
title = {SelfSplat: Pose-Free and 3D Prior-Free Generalizable 3D Gaussian Splatting},
author = {Gyeongjin Kang and Jisang Yoo and Jihyeon Park and Seungtae Nam and Hyeonsoo Im and Sangheon Shin and Sangpil Kim and Eunbyung Park},
journal= {arXiv preprint arXiv:2411.17190},
year = {2025}
}
备注
Project page: https://gynjn.github.io/selfsplat/