基于高斯溅写的开放词汇 3D 实例分割
计算机视觉与模式识别
2025-06-10 v1
摘要
3D 高斯溅写（3DGS）已成为神经场景重建的强大表示，能够在保持计算效率的同时提供高质量的新视角合成。本文扩展了3DGS的能力，超越纯粹的场景表示，引入一种无需手动标注的开放词汇 3D 实例分割方法，称为 OpenSplat3D。我们的方法利用特征溅写技术将语义信息与单个高斯关联，从而实现精细的场景理解。我们将 Segment Anything Model 实例掩码与对比损失 formulation 结合，作为实例特征的指导以实现精确的实例级分割。此外，我们利用视觉语言模型的语言嵌入，实现灵活的、基于自然语言描述的实例识别。这种组合使我们能够基于自然语言描述识别和分割 3D 场景中的任意对象。我们在 LERF-mask 和 LERF-OVS 上展示了结果以及完整的 ScanNet++ 验证集，证明了我们方法的有效性。
引用
@article{arxiv.2506.07697,
title = {OpenSplat3D: Open-Vocabulary 3D Instance Segmentation using Gaussian Splatting},
author = {Jens Piekenbrinck and Christian Schmidt and Alexander Hermans and Narunas Vaskevicius and Timm Linder and Bastian Leibe},
journal= {arXiv preprint arXiv:2506.07697},
year = {2025}
}