GALA：面向开放词汇高斯溅射的引导注意力与语言对齐
计算机视觉与模式识别
2025-08-22 v2
摘要
三维场景重建与理解日益受到关注，然而现有方法仍难以从二维图像中捕获细粒度、语言感知的三维表示。在本文中，我们提出了GALA，一个基于三维高斯溅射（3DGS）的开放词汇三维场景理解新框架。GALA通过自监督对比学习蒸馏出场景特定的三维实例特征场。为了扩展到泛化的语言特征场，我们引入了GALA的核心贡献——一个带有两个可学习码本的交叉注意力模块，用于编码与视角无关的语义嵌入。这种设计不仅确保了实例内特征相似性，还支持无缝的二维和三维开放词汇查询。它通过避免逐高斯的高维特征学习来降低内存消耗。在真实世界数据集上的大量实验证明了GALA在二维和三维开放词汇任务上的卓越性能。
引用
@article{arxiv.2508.14278,
title = {GALA: Guided Attention with Language Alignment for Open Vocabulary Gaussian Splatting},
author = {Elena Alegret and Kunyi Li and Sen Wang and Siyun Liang and Michael Niemeyer and Stefano Gasperini and Nassir Navab and Federico Tombari},
journal= {arXiv preprint arXiv:2508.14278},
year = {2025}
}