通过迁移几何基元实现零样本点云分割
计算机视觉与模式识别
2023-10-02 v3
摘要
我们研究转导式零样本点云语义分割，其中网络在已见对象上训练并能够分割未见对象。三维几何要素是暗示新颖三维对象类型的重要线索。然而，以往方法忽视了语言与三维几何要素之间的细粒度关系。为此，我们提出一种新框架来学习已见和未见类别对象中共享的几何基元，并在语言与所学几何基元之间进行细粒度对齐。因此，在语言引导下，网络识别由几何基元表示的新颖对象。具体而言，我们构建了一种新颖的点视觉表示，即点的特征到可学习原型（prototypes）的相似度向量，其中原型通过反向传播自动编码几何基元。此外，我们提出一种新颖的未知感知 InfoNCE 损失（Unknown-aware InfoNCE Loss）来将视觉表示与语言细粒度对齐。大量实验表明，我们的方法在调和平均交并比（hIoU）上显著优于其他最先进（state-of-the-art）方法，在 S3DIS、ScanNet、SemanticKITTI 和 nuScenes 数据集上分别提升 17.8%、30.4%、9.2% 和 7.9%。代码已公开（https://github.com/runnanchen/Zero-Shot-Point-Cloud-Segmentation）。
引用
@article{arxiv.2210.09923,
title = {Zero-shot point cloud segmentation by transferring geometric primitives},
author = {Runnan Chen and Xinge Zhu and Nenglun Chen and Wei Li and Yuexin Ma and Ruigang Yang and Wenping Wang},
journal= {arXiv preprint arXiv:2210.09923},
year = {2023}
}
备注
ACM MM 2023