PointDC：基于跨模态蒸馏与超体素聚类的三维点云无监督语义分割
计算机视觉与模式识别
2024-01-03 v5
摘要
点云语义分割通常需要耗费大量人力进行标注，因此从无标签或较弱形式标注中学习这一挑战性课题引起了广泛关注。在本文中，我们首次尝试点云的全无监督语义分割，旨在无任何形式标注的情况下描绘具有语义意义的对象。先前二维图像上的无监督流程在此点云任务中失效，原因在于：1）由数据规模有限和类别分布不均衡引起的聚类歧义；2）由点云不规则稀疏性引起的不规则歧义。因此，我们提出了一种新颖框架 PointDC，其包含分别处理上述两个问题的两个步骤：跨模态蒸馏（CMD）与超体素聚类（SVC）。在 CMD 第一阶段，多视角视觉特征被反投影至三维空间并聚合为统一的点特征，以蒸馏点表示的训练。在 SVC 第二阶段，点特征被聚合为超体素，然后送入迭代聚类过程以挖掘语义类别。PointDC 在 ScanNet-v2（+18.4 mIoU）和 S3DIS（+11.5 mIoU）语义分割基准上均显著优于先前最先进的无监督方法。
引用
@article{arxiv.2304.08965,
title = {PointDC:Unsupervised Semantic Segmentation of 3D Point Clouds via Cross-modal Distillation and Super-Voxel Clustering},
author = {Zisheng Chen and Hongbin Xu and Weitao Chen and Zhipeng Zhou and Haihong Xiao and Baigui Sun and Xuansong Xie and Wenxiong Kang},
journal= {arXiv preprint arXiv:2304.08965},
year = {2024}
}
备注
Accepted by International Conference on Computer Vision (ICCV) 2023