GeoGuide: 用于开放词汇 3D 语义分割的层次化几何引导
计算机视觉与模式识别
2026-03-30 v1 人工智能
摘要
开放词汇 3D 语义分割旨在分割训练集之外的任意类别。现有方法主要依赖从 2D 开放词汇模型中蒸馏知识。然而，将 3D 特征对齐到 2D 表示空间会限制内在 3D 几何学习，并继承 2D 预测中的误差。为解决这些限制，我们提出 GeoGuide，一个利用预训练 3D 模型整合层次化几何-语义一致性的开放词汇 3D 分割框架。具体而言，我们引入基于不确定性的超点蒸馏模块，用于融合几何与语义特征以估计逐点不确定性，自适应地加权超点内的 2D 特征以抑制噪声同时保留判别性信息，从而增强局部语义一致性。此外，我们的实例级掩码重建模块利用几何先验通过重建完整实例掩码来强制实例内的语义一致性。另外，我们的实例间关系一致性模块对齐几何与语义相似性矩阵，以校准同类对象的跨实例一致性，缓解由视角引起的语义漂移。在 ScanNet v2、Matterport3D 和 nuScenes 上的大量实验证明了 GeoGuide 的优越性能。
引用
@article{arxiv.2603.26260,
title = {GeoGuide: Hierarchical Geometric Guidance for Open-Vocabulary 3D Semantic Segmentation},
author = {Xujing Tao and Chuxin Wang and Yubo Ai and Zhixin Cheng and Zhuoyuan Li and Liangsheng Liu and Yujia Chen and Xinjun Li and Qiao Li and Wenfei Yang and Tianzhu Zhang},
journal= {arXiv preprint arXiv:2603.26260},
year = {2026}
}
备注
Accepted to CVPR 2026