HybridGS：通过2D和3D高斯溅解耦瞬态与静态元素
计算机视觉与模式识别
2025-03-03 v4 人工智能
摘要
在包含瞬态对象的场景中生成高质量的3D高斯溅（3DGS）新视图渲染具有挑战性。我们提出一种新颖的混合表示，即HybridGS，将瞬态对象建模为每个图像的2D高斯，同时保持整个静态场景的传统3D高斯。值得注意的是，3DGS本身更适合建模静态场景，因为其假设了多视图一致性，但瞬态对象偶尔出现且不遵循这一假设，因此我们将其建模为来自单个视角的平面对象，用2D高斯表示。我们的新颖表示从基本视点一致性的角度对场景进行分解，这更为合理。此外，我们提出了一种新颖的多视图受控监督方法，用于3DGS，利用协同视角区域的信息，进一步增强瞬态与静态元素之间的区分。然后，我们提出一种简洁且有效的多阶段训练策略，以确保在各种设置下都能实现稳健的训练和高质量的视图合成。在基准数据集上的实验表明，我们在室内和户外场景中实现了最先进的新视图合成性能，即使在包含干扰元素的情形下亦然。
引用
@article{arxiv.2412.03844,
title = {HybridGS: Decoupling Transients and Statics with 2D and 3D Gaussian Splatting},
author = {Jingyu Lin and Jiaqi Gu and Lubin Fan and Bojian Wu and Yujing Lou and Renjie Chen and Ligang Liu and Jieping Ye},
journal= {arXiv preprint arXiv:2412.03844},
year = {2025}
}
备注
Accpeted by CVPR 2025. Project page: https://gujiaqivadin.github.io/hybridgs/ Code: https://github.com/Yeyuqqwx/HybridGS Data: https://huggingface.co/Eto63277/HybridGS/tree/main