PanopticSplatting：面向开放词汇全景高斯溅写

开放词汇全景重建是同时进行场景重建与理解的挑战性任务。最近的研究提出了基于高斯溅写的3D场景理解方法，但这些方法采用多阶段流程，导致累积误差并依赖人工设计的组件。为简化流程并实现全局优化，我们提出了PanopticSplatting——一个用于开放词汇全景重建的端到端系统。我们的方法引入了基于查询引导的高斯分割，采用局部交叉注意力机制，实现了无需跨帧关联的端到端方式将2D实例掩码提升至3D。局部交叉注意力在视景锥内有效降低了训练内存，使模型更易适用于包含更多高斯点和物体的大场景。此外，针对2D伪掩码中的噪声标签问题，我们提出了标签混合技术，以减少噪声浮点数，促进3D分割的一致性；并对2D预测应用标签错位，增强多视角一致性和分割精度。我们的方法在ScanNet-V2和ScanNet++数据集上实现了强大的3D场景全景重建性能，优于基于NeRF和基于高斯溅写的全景重建方法。此外，PanopticSplatting可以轻松地推广到众多高斯溅写变体模型，我们在不同的基础高斯模型上展示了其鲁棒性。