GAGS：面向语言高斯泼溅的粒度感知特征蒸馏

3D 开放词汇场景理解能够准确感知空间中物体的复杂语义属性，近年来受到了广泛关注。在本文中，我们提出了 GAGS，一个将 2D CLIP 特征蒸馏到 3D Gaussian splatting 中的框架，实现了对任意视角渲染的开放词汇查询。将 2D 特征蒸馏至 3D 场的主要挑战在于提取的 2D 特征存在多视角不一致性，这为 3D 特征场提供了不稳定的监督。GAGS 通过两种新颖的策略应对了这一挑战。首先，GAGS 将 SAM 的提示点密度与相机距离相关联，显著提高了分割结果的多视角一致性。其次，GAGS 进一步解码出一个粒度因子来指导蒸馏过程，该粒度因子可以以无监督方式学习，从而在蒸馏过程中仅选择多视角一致的 2D 特征。在两个数据集上的实验结果表明，GAGS 在视觉定位和语义分割方面取得了显著的性能和稳定性提升，且推理速度比基线方法快 2$\times$。代码和额外结果可在 https://pz0826.github.io/GAGS-Webpage/ 获取。