SnapshotNet:利用极少标注数据的点云数据分割自监督特征学习
计算机视觉与模式识别
2022-01-14 v1
摘要
人工标注复杂场景点云数据集既昂贵又易出错。为减少对标注数据的依赖,我们提出一种称为 SnapshotNet 的新模型作为自监督特征学习方法,其直接作用于复杂 3D 场景的无标注点云数据。SnapshotNet 流程包含三个阶段。在快照捕获阶段,从点云场景中采样出定义为点之局部集合的快照。快照可以是从真实场景直接捕获的局部 3D 扫描视图,或是此类在大 3D 点云数据集上的虚拟视图。快照也可以不同采样率或视场(FOVs)采样,从而得到多 FOV 快照,以从场景中捕获尺度信息。在特征学习阶段,提出一种称为多 FOV 对比的新预文本任务,用于识别两个快照是否来自同一物体,可在同 FOV 内或跨不同 FOV。快照经历两个自监督学习步骤:包含部件与尺度对比的对比学习步骤,随后是快照聚类步骤以提取更高层语义特征。然后实现一个弱监督分割阶段:首先用一小部分标注快照在所学特征上训练标准 SVM 分类器。训练好的 SVM 用于预测输入快照的标签,预测标签通过投票程序转换为逐点标签分配,以对整个场景进行语义分割。实验在 Semantic3D 数据集上进行,结果表明所提方法能够无需任何标签地从复杂场景数据快照中学习有效特征。此外,在弱监督点云语义分割上与 SOA 方法比较,所提方法显示出优势。
引用
@article{arxiv.2201.04833,
title = {SnapshotNet: Self-supervised Feature Learning for Point Cloud Data Segmentation Using Minimal Labeled Data},
author = {Xingye Li and Ling Zhang and Zhigang Zhu},
journal= {arXiv preprint arXiv:2201.04833},
year = {2022}
}