DepthSplat：连接高斯泼溅与深度估计
计算机视觉与模式识别
2025-03-26 v3
摘要
高斯泼溅和单视图深度估计通常是孤立研究的。在本文中，我们提出了DepthSplat来连接高斯泼溅和深度估计，并研究它们的相互作用。更具体地说，我们首先通过利用预训练的的单目深度特征贡献了一个鲁棒的多视图深度模型，从而实现了高质量的前馈3D高斯泼溅重建。我们还表明，高斯泼溅可以作为无监督预训练目标，用于从大规模多视图带位姿数据集中学习强大的深度模型。我们通过广泛的消融和跨任务迁移实验验证了高斯泼溅和深度估计之间的协同作用。我们的DepthSplat在ScanNet、RealEstate10K和DL3DV数据集上，在深度估计和新视图合成方面均达到了最先进的性能，证明了连接这两个任务的互惠互利。此外，DepthSplat能够在0.6秒内从12个输入视图（512x960分辨率）进行前馈重建。
引用
@article{arxiv.2410.13862,
title = {DepthSplat: Connecting Gaussian Splatting and Depth},
author = {Haofei Xu and Songyou Peng and Fangjinhua Wang and Hermann Blum and Daniel Barath and Andreas Geiger and Marc Pollefeys},
journal= {arXiv preprint arXiv:2410.13862},
year = {2025}
}
备注
CVPR 2025, Project page: https://haofeixu.github.io/depthsplat/, Code: https://github.com/cvg/depthsplat