PLGS：基于3D高斯泼溅的鲁棒全景提升
计算机视觉与模式识别
2025-09-09 v2
摘要
先前的方法利用神经辐射场（NeRF）进行全景提升，但其训练和渲染速度不尽如人意。相比之下，3D高斯泼溅（3DGS）因其快速的训练和渲染速度而成为一项突出技术。然而，与NeRF不同，传统的3DGS可能不满足基本的平滑性假设，因为它不依赖任何参数化结构（例如MLP）进行渲染。因此，传统的3DGS本质上更容易受到噪声2D掩码监督的影响。在本文中，我们提出了一种名为PLGS的新方法，该方法使3DGS能够从噪声2D分割掩码生成一致的全景分割掩码，同时保持优于基于NeRF方法的效率。具体来说，我们构建了一个全景感知的结构化3D高斯模型以引入平滑性，并设计了有效的降噪策略。对于语义场，我们不是通过运动恢复结构进行初始化，而是构建可靠的语义锚点来初始化3D高斯。然后，我们在训练过程中将这些锚点用作平滑正则化。此外，我们提出了一种自训练方法，使用通过将渲染掩码与噪声掩码合并生成的伪标签来增强PLGS的鲁棒性。对于实例场，我们将2D实例掩码投影到3D空间，并将其与有向边界框匹配，以生成跨视图一致的实例掩码用于监督。在各种基准上的实验表明，我们的方法在分割质量和速度方面均优于先前的最先进方法。
引用
@article{arxiv.2410.17505,
title = {PLGS: Robust Panoptic Lifting with 3D Gaussian Splatting},
author = {Yu Wang and Xiaobao Wei and Ming Lu and Guoliang Kang},
journal= {arXiv preprint arXiv:2410.17505},
year = {2025}
}