Segment then Splat：基于高斯溅射的统一3D开放词汇分割

3D 空间中的开放词汇查询对于实现机器人、自动驾驶和增强现实等应用中的更智能的感知至关重要。然而，大多数现有方法依赖 2D 像素级解析，导致多视角不一致和较差的 3D 物体检索。此外，这些方法局限于静态场景，由于运动建模的复杂性，难以处理动态场景。本文提出了一种名为 Segment then Splat 的 3D aware 开放词汇分割方法，基于高斯溅射实现静态和动态场景的分割。Segment then Splat 颠倒了长期以来的“重建后分割”方法，通过在重建前将高斯分为 distinct 物体集合来实现分割。一旦重建完成，场景自然地分割为单个物体，实现了真正的 3D 分割。该设计消除了几何和语义歧义，以及动态场景中高斯-物体错位问题。它还加速了优化过程，因为无需学习单独的语言场。优化完成后，为每个物体分配 CLIP 嵌入，以实现开放词汇查询。广泛的实验结果表明，我们提出的方法在静态和动态场景中均表现出色。