Dr. Splat：通过直接语言嵌入注册实现 3D 高斯溅射的直接指称
计算机视觉与模式识别
2025-02-25 v1
摘要
我们提出 Dr. Splat，这是一种新颖的用于开放词汇 3D 场景理解的 3D 高斯溅射方法。不同于现有的语言嵌入 3DGS 方法依赖渲染过程，本方法直接将语言对齐的 CLIP 嵌入与 3D 高斯关联，以实现整体 3D 场景理解。本方法的关键在于一种语言特征注册技术，即将 CLIP 嵌入分配给每个像素射线所交叉的主导高斯。此外，我们集成了在大规模图像数据上训练的 Product Quantization (PQ)，以在无需 per-scene optimization 的情况下紧凑表示嵌入。实验表明，我们的方法在 3D 感知基准测试中显著优于现有方法，包括开放词汇 3D 语义分割、3D 目标定位和 3D 目标选择等任务。关于视频结果，请访问：https://drsplat.github.io/
引用
@article{arxiv.2502.16652,
title = {Dr. Splat: Directly Referring 3D Gaussian Splatting via Direct Language Embedding Registration},
author = {Kim Jun-Seong and GeonU Kim and Kim Yu-Ji and Yu-Chiang Frank Wang and Jaesung Choe and Tae-Hyun Oh},
journal= {arXiv preprint arXiv:2502.16652},
year = {2025}
}
备注
20 pages