LangSplat：三维语言高斯泼溅
计算机视觉与模式识别
2024-04-02 v2
摘要
人类生活在三维世界中，通常使用自然语言与三维场景交互。建模一个支持三维中开放语言查询的三维语言场最近引起了越来越多的关注。本文介绍了LangSplat，它构建了一个三维语言场，能够在三维空间中进行精确高效的开放词汇查询。与现有方法将CLIP语言嵌入嵌入到NeRF模型中不同，LangSplat通过利用一组三维高斯体（每个高斯体编码从CLIP蒸馏出的语言特征）来表示语言场，从而推进了该领域。通过使用基于瓦片的泼溅技术渲染语言特征，我们避免了NeRF中昂贵的渲染过程。LangSplat不是直接学习CLIP嵌入，而是首先训练一个场景级语言自编码器，然后在场景特定的潜在空间上学习语言特征，从而减轻显式建模带来的大量内存需求。现有方法难以处理不精确和模糊的三维语言场，无法区分物体之间的清晰边界。我们深入研究了这个问题，并提出使用SAM学习层次语义，从而无需在不同尺度上广泛查询语言场以及DINO特征的正则化。大量实验结果表明，LangSplat以较大优势显著优于先前最先进的方法LERF。值得注意的是，LangSplat非常高效，在1440×1080分辨率下比LERF实现了199倍的加速。我们强烈建议读者查看我们的视频结果：https://langsplat.github.io/
引用
@article{arxiv.2312.16084,
title = {LangSplat: 3D Language Gaussian Splatting},
author = {Minghan Qin and Wanhua Li and Jiawei Zhou and Haoqian Wang and Hanspeter Pfister},
journal= {arXiv preprint arXiv:2312.16084},
year = {2024}
}
备注
CVPR 2024. Project Page: https://langsplat.github.io