FastLGS：利用特征网格映射加速语言嵌入高斯
计算机视觉与模式识别
2024-12-13 v4
摘要
语义交互式辐射场一直是一项极具吸引力的任务，因其有望促进用户友好且自动化的真实世界 3D 场景理解应用。然而，在辐射场中同时实现高质量、高效率和零样本能力并融入语义是一项具有挑战性的任务。在本工作中，我们提出了 FastLGS，这是一种在高分辨率下支持 3D Gaussian Splatting (3DGS) 内实时开放词汇查询的方法。我们提出了语义特征网格，以保存基于 Segment Anything Model (SAM) 掩码提取的多视图 CLIP 特征，并通过 3DGS 将网格映射到低维特征以进行语义场训练。一旦训练完成，我们就可以通过特征网格从渲染特征中恢复像素对齐的 CLIP 嵌入，用于开放词汇查询。与其他最先进方法的比较证明，FastLGS 能够在速度和精度上均取得第一名的性能，其中 FastLGS 比 LERF 快 98 倍，比 LangSplat 快 4 倍。同时，实验表明 FastLGS 具有自适应性且兼容许多下游任务，例如 3D 分割和 3D 物体修复，可以轻松应用于其他 3D 操作系统。
引用
@article{arxiv.2406.01916,
title = {FastLGS: Speeding up Language Embedded Gaussians with Feature Grid Mapping},
author = {Yuzhou Ji and He Zhu and Junshu Tang and Wuyi Liu and Zhizhong Zhang and Xin Tan and Yuan Xie},
journal= {arXiv preprint arXiv:2406.01916},
year = {2024}
}
备注
This paper is accepted to AAAI 2025