3D-OAE：用于点云自监督学习的遮挡自编码器
计算机视觉与模式识别
2022-10-31 v3
摘要
大规模点云的手动标注仍十分繁琐，且在许多严苛的真实任务中难以获取。自监督学习在原始无标签数据上预训练深度神经网络，是解决此问题的一种有前景的途径。现有工作通常借助自编码器，通过自重建范式建立自监督。然而，以往的自编码器仅关注全局形状，未能区分局部与全局几何特征。为此，我们提出一种新颖高效的自监督点云表示学习框架，称为3D遮挡自编码器（3D-OAE），以利用局部区域与全局形状中固有的细致监督。我们提议随机遮挡点云的若干局部块，并通过利用剩余块修补被遮挡块来建立监督。具体而言，我们基于标准Transformer设计了一种非对称编码器-解码器架构：编码器仅在可见块子集上运行以学习局部模式，并设计轻量解码器借助这些可见模式通过自注意力推断缺失几何。我们发现遮挡极高比例（如75%）的输入点云仍可获得非平凡的自监督性能，这使训练速度提升3-4倍且精度提高。实验结果表明，在多种下游判别与生成任务上，我们的方法优于当前最优方法。
引用
@article{arxiv.2203.14084,
title = {3D-OAE: Occlusion Auto-Encoders for Self-Supervised Learning on Point Clouds},
author = {Junsheng Zhou and Xin Wen and Baorui Ma and Yu-Shen Liu and Yue Gao and Yi Fang and Zhizhong Han},
journal= {arXiv preprint arXiv:2203.14084},
year = {2022}
}
备注
Project page: https://junshengzhou.github.io/3D-OAE; Code and data: https://github.com/junshengzhou/3D-OAE