面向大规模非约束 3D 重建与新视角合成的扩散引导高斯溅射
计算机视觉与模式识别
2025-04-03 v1 机器学习
摘要
近期在 3D 高斯溅射 (3DGS) 和神经辐射场 (NeRF) 方面的突破在实时 3D 重建和新视角合成方面取得了令人印象深刻的成果。然而，这些方法在大规模、非约束环境中难以处理，其中存在稀疏且不均匀的输入覆盖、瞬时遮挡、外观变异以及不一致的相机设置，导致质量下降。我们提出了 GS-Diff，一种由多视角扩散模型引导的 3DGS 框架，以解决这些限制。通过生成以多视角输入为条件的伪观测，我们的方法将 under-constrained 的 3D 重建问题转化为 well-posed 的问题，即使在稀疏数据下也能实现稳健的优化。GS-Diff 进一步集成了多项增强措施，包括外观嵌入、单目深度先验、动态对象建模、各向异性正则化以及高级光栅化技术，以应对现实环境中的几何和光度挑战。在四个基准数据集上的实验表明，GS-Diff 在与领先基准方法的表现上 consistently 取得显著优势。
引用
@article{arxiv.2504.01960,
title = {Diffusion-Guided Gaussian Splatting for Large-Scale Unconstrained 3D Reconstruction and Novel View Synthesis},
author = {Niluthpol Chowdhury Mithun and Tuan Pham and Qiao Wang and Ben Southall and Kshitij Minhas and Bogdan Matei and Stephan Mandt and Supun Samarasekera and Rakesh Kumar},
journal= {arXiv preprint arXiv:2504.01960},
year = {2025}
}
备注
WACV ULTRRA Workshop 2025