JointSplat：稀疏视角高斯溅射的概率联合流深度优化
计算机视觉与模式识别
2025-06-05 v1 人工智能
摘要
从稀疏视角重建3D场景是长期存在的挑战，具有广泛的应用前景。最近在feed-forward 3D高斯稀疏视图重建方法方面的进展，为利用来自大规模多视图数据集中学习的几何先验，并通过反投影计算3D高斯中心，为实时新视图合成提供了高效解决方案。尽管这些方法提供了强大的几何线索，但两类方法都存在关键局限性：前者在低纹理或重复区域 suffer from 漂移和伪影问题，而后者由于缺乏可靠的匹配当没有真实流监督时，容易受到局部噪声和全局不一致性的影响。为此，我们提出了JointSplat，一个统一的框架，利用光流和深度之间的互补性，通过一种新颖的概率优化机制。具体而言，本像素级机制基于光流的匹配概率对深度和流之间的信息融合进行缩放。在上述机制之上，我们进一步提出了一种新的多视图深度一致性损失，以利用监督的可靠性，同时抑制不确定区域中误导性的梯度。在RealEstate10K和ACID上进行的评估表明，JointSplat consistently 超越了当前最先进（SOTA）的方法，展示了我们所提出概率性联合流深度优化方法在高保真稀疏视图3D重建方面的有效性和鲁棒性。
引用
@article{arxiv.2506.03872,
title = {JointSplat: Probabilistic Joint Flow-Depth Optimization for Sparse-View Gaussian Splatting},
author = {Yang Xiao and Guoan Xu and Qiang Wu and Wenjing Jia},
journal= {arXiv preprint arXiv:2506.03872},
year = {2025}
}