OpenGaFF：基于码本注意力的开放词汇高斯特征场
计算机视觉与模式识别
2026-05-25 v3
摘要
由于多视角观测中语义预测碎片化且在空间上不一致，基于高斯表示的 3D 场景开放词汇理解仍具挑战性。本文提出 OpenGaFF（Open-Vocabulary Gaussian Feature Field with Codebook Attention），一个基于 3D 高斯溅写（3D Gaussian Splatting）构建的开放词汇 3D 场景理解框架。我们方法的核心是高斯特征场（Gaussian Feature Field），该模型将语义建模为高斯几何与外观的连续函数。通过显式地将语义预测条件化于几何结构，该表述增强了几何与语义之间的耦合，导致在 3D 空间中相似结构上的空间一致性得到改善。为进一步强制对象级语义一致性，我们引入结构化码本（structured codebook），作为一组共享的语义原语。此外，提出了码本引导注意力机制（codebook-guided attention mechanism），通过查询嵌入与已学习的码本条目之间的相似度匹配来检索语言特征，实现稳健的开放词汇推理，同时降低对象内部特征方差。大量实验表明，在标准 2D 和 3D 开放词汇基准上，我们的方法始终优于先前方法，实现分割质量的提升、更强的 3D 语义一致性以及一个在语义上可解释的码本，提供对所学表示的洞察。
引用
@article{arxiv.2605.06088,
title = {OpenGaFF: Open-Vocabulary Gaussian Feature Field with Codebook Attention},
author = {Kunyi Li and Michael Niemeyer and Sen Wang and Stefano Gasperini and Nassir Navab and Federico Tombari},
journal= {arXiv preprint arXiv:2605.06088},
year = {2026}
}