GeoPurify：用于开放词汇 3D 分割的数据高效几何蒸馏框架
计算机视觉与模式识别
2026-02-12 v2 机器学习
摘要
最近尝试将 2D 视觉-语言模型（VLMs）的特征转移到 3D 语义分割中，暴露出一个持久的权衡。直接将 2D 特征投影到 3D 会产生噪声和碎片化的预测，而强制几何一致性则需要昂贵的训练流水线和大规模标注的 3D 数据。我们认为这一限制源于主导的分割与匹配范式，该范式未能协调 2D 语义与 3D 几何结构。几何线索在 2D 到 3D 的传输过程中并未被消除，而是保留在噪声和视图聚合的特征中。为了利用这一特性，我们提出 GeoPurify，它使用一个小的学生亲和力网络，利用从 3D 自监督教师模型蒸馏的几何先验来净化 2D VLM 生成的 3D 点特征。在推理过程中，我们设计了一个几何引导池化模块来进一步去噪点云并确保语义和结构一致性。得益于潜在的几何信息和所学的亲和力网络，GeoPurify 有效地缓解了这一权衡，并实现了优越的数据效率。在主要 3D 基准测试上的广泛实验表明，GeoPurify 在仅使用约 1.5% 的训练数据的情况下达到了或超越了最先进的性能。
引用
@article{arxiv.2510.02186,
title = {GeoPurify: A Data-Efficient Geometric Distillation Framework for Open-Vocabulary 3D Segmentation},
author = {Weijia Dou and Xu Zhang and Yi Bin and Jian Liu and Bo Peng and Guoqing Wang and Yang Yang and Heng Tao Shen},
journal= {arXiv preprint arXiv:2510.02186},
year = {2026}
}
备注
Accepted at ICLR 2026. Code available at: https://github.com/tj12323/GeoPurify