基于混合形状分离的自监督点云表示学习
计算机视觉与模式识别
2022-09-26 v3
摘要
大规模点云的手动标注耗时巨大，且在严苛的真实场景通常不可用。受预训练与微调范式在视觉与语言任务中巨大成功的启发，我们认为预训练也是获取可扩展模型以用于三维点云下游任务的潜在方案。因此，本文探索了一种新的自监督学习方法，称为混合与解耦（Mixing and Disentangling, MD），用于三维点云表示学习。顾名思义，我们将两个输入形状混合，并要求模型学习从混合形状中分离出输入。我们利用该重建任务作为自监督学习的代理优化目标。其主要优势有二：1）与主流图像数据集（如 ImageNet）相比，点云数据集实则规模较小。混合过程可提供大得多的在线训练样本池。2）另一方面，解耦过程促使模型挖掘几何先验知识，如关键点。为验证所提代理任务的有效性，我们构建了一个由编码器与解码器组成的基线网络。预训练期间，我们混合两个原始形状并从编码器获得几何感知嵌入，随后应用实例自适应解码器从嵌入中恢复原始形状。尽管简单，预训练的编码器能够捕获未见点云的关键点，并在下游任务上超越从头训练的编码器。所提方法在点云分类与分割任务上提升了 ModelNet-40 与 ShapeNet-Part 数据集上的经验性能。我们进一步开展消融实验以探究各组件的作用，并通过采用不同骨干网络验证所提策略的泛化性。
引用
@article{arxiv.2109.00452,
title = {Self-supervised Point Cloud Representation Learning via Separating Mixed Shapes},
author = {Chao Sun and Zhedong Zheng and Xiaohan Wang and Mingliang Xu and Yi Yang},
journal= {arXiv preprint arXiv:2109.00452},
year = {2022}
}