LangSplatV2：450+ FPS 的高维度 3D 语言高斯斯platting

本文提出 LangSplatV2，实现了 476.2 FPS 的高维特征splattting 和 384.6 FPS 的 3D 开放词汇文本查询，针对高分辨率图像，相较 LangSplat 分别实现 42 倍加速和 47 倍提升，并在查询准确率方面获得改进。LangSplat 使用高斯斯platting 将 2D CLIP 语言特征嵌入 3D，显著提升速度并学习精确的 3D 语言场，同时利用 SAM 语义。然而，LangSplat 仍未实现实时推理性能(8.2 FPS)，即便使用先进的 A100 GPU 也严重限制了其更广泛的应用。在本文中，我们首先对 LangSplat 进行详细的时间分析，确定重型解码器为主要速度瓶颈。我们的解决方案 LangSplatV2 假设每个高斯系数是全局字典中稀疏的代码，进而学习 3D 稀疏系数场，从而完全消除重型解码器的需求。利用稀疏性，我们进一步提出一种带有 CUDA 优化的高效稀疏系数splattting方法，在仅增加极低维特征splattting 时间成本的同时，以高质量渲染高维特征图。我们的实验结果表明，LangSplatV2 不仅在准确率上优于或与现有方法持平，而且速度显著提升。代码和演示已在项目页面发布：https://langsplat-v2.github.io。