ExtrinSplat: 解耦几何与语义以实现3D高斯溅射中的开放词汇理解
计算机视觉与模式识别
2026-03-30 v2 人工智能
摘要
将2D开放词汇理解迁移到3D高斯溅射场景中是一项关键挑战。基于嵌入范式的主流方法存在三个关键缺陷：(i) 几何-语义不一致，其中点而非对象作为语义基础，限制了语义保真度；(ii) 语义膨胀，即将数十亿字节的特征数据注入几何结构；(iii) 语义刚性，因为每个高斯元仅有一个特征，难以捕捉丰富的多义性。为克服这些局限，我们提出了ExtrinSplat，一个基于外在范式的框架，将几何与语义解耦。ExtrinSplat不嵌入特征，而是将高斯元聚类为多粒度、重叠的3D对象组。随后，视觉语言模型（VLM）对这些组进行解读，生成轻量级文本假设，构建一个原生支持复杂多义性的外在索引层。通过用轻量级索引替代昂贵的特征嵌入，ExtrinSplat将场景适配时间从数小时缩短至数分钟，并将存储开销降低数个数量级。在开放词汇3D目标选择与语义分割的基准任务上，ExtrinSplat超越了已有的基于嵌入的框架，验证了所提出的外在范式的有效性与效率。
引用
@article{arxiv.2509.22225,
title = {ExtrinSplat: Decoupling Geometry and Semantics for Open-Vocabulary Understanding in 3D Gaussian Splatting},
author = {Jiayu Ding and Xinpeng Liu and Zhiyi Pan and Shiqiang Long and Ge Li},
journal= {arXiv preprint arXiv:2509.22225},
year = {2026}
}
备注
Accepted to CVPR 2026