中文

DualSplat:基于重建失败伪掩码引导的鲁棒 3D 高斯溅写

计算机视觉与模式识别 2026-04-24 v1

摘要

虽然 3D 高斯溅写 (3DGS) 实现了实时全景渲染,但当训练图像包含违反多视图一致性的瞬态物体时,其性能会显著下降。现有方法面临循环依赖:准确的瞬态检测需要良好重建的静态场景,而干净的重建本身又依赖于可靠的瞬态掩码。我们通过 Failure-to-Prior 框架解决了这一挑战,DualSplat 将第一遍重建失败转化为第二阶段重建的显式先验。我们观察到,瞬态物体只出现在部分视图中,往往在保守的初始训练期间表现为不完整的碎片。我们利用这些失败现象,通过结合光度残差、特征不匹配和 SAM2 实例边界来构建对象级别的伪掩码。这些伪掩码然后指导干净的第二遍 3DGS 优化,同时一个轻量级 MLP 在线细化这些掩码,逐渐从先验监督转向自我一致性。实验在 RobustNeRF 和 NeRF On-the-go 上表明,DualSplat 在现有基准中取得了优异表现,尤其在瞬态物体丰富的场景和瞬态区域表现尤为突出。

关键词

引用

@article{arxiv.2604.21631,
  title  = {DualSplat: Robust 3D Gaussian Splatting via Pseudo-Mask Bootstrapping from Reconstruction Failures},
  author = {Xu Wang and Zhiru Wang and Shiyun Xie and Chengwei Pan and Yisong Chen},
  journal= {arXiv preprint arXiv:2604.21631},
  year   = {2026}
}

备注

10 pages,6 figures, accepted to Computer Vision and Pattern Recognition Conference 2026