CUS3D：基于 CLIP 的对象级去噪无监督 3D 分割

为了减轻 3D 数据中获取标注标签的困难，一种常见的方法是使用无监督和开放词汇语义分割，它们利用 2D CLIP 语义知识。在本文中，与以往忽略从 2D 到 3D 特征投影期间产生的“噪声”的研究不同，我们提出了一种名为 CUS3D 的新型蒸馏学习框架。在我们的方法中，设计了一个对象级去噪投影模块来筛选“噪声”并确保更准确的 3D 特征。基于获得的特征，设计了一个多模态蒸馏学习模块，在以对象为中心的约束下将 3D 特征与 CLIP 语义特征空间对齐，以实现高级的无监督语义分割。我们在无监督和开放词汇分割中进行了全面的实验，结果始终展示了我们的模型在实现高级无监督分割结果方面的优越性及其在开放词汇分割中的有效性。