GeoMAE：用于自监督点云预训练的掩码几何目标预测
计算机视觉与模式识别
2023-05-16 v1
摘要
本文试图解决点云自监督学习中的一个基本问题：在无标注情况下，我们应当利用何种良好信号从点云中学习特征？为回答该问题，我们引入了一个基于几何特征重建的点云表示学习框架。与近期直接采用掩码自编码器（MAE）且仅从掩码点云预测原始坐标或占据率的论文不同，我们的方法重新审视了图像与点云之间的差异，并识别出点云特有的三个自监督学习目标，即质心预测、法线估计与曲率预测。结合占据率预测，这四个目标构成了一项非平凡的自监督学习任务，并相互促进模型更好地推理点云的细粒度几何结构。我们的流程在概念上简洁，由两个主要步骤组成：首先，随机掩码掉点群，随后使用基于 Transformer 的点云编码器；其次，一个轻量级 Transformer 解码器预测每个体素中点的质心、法线与曲率。我们将预训练的 Transformer 编码器迁移至下游感知模型。在 nuScene 数据集上，我们的模型在目标检测上实现了 3.38 mAP 提升，在分割上实现了 2.1 mIoU 增益，在多目标跟踪上实现了 1.7 AMOTA 增益。我们还在 Waymo Open Dataset 上进行了实验，并相较基线取得了显著的性能提升。
引用
@article{arxiv.2305.08808,
title = {GeoMAE: Masked Geometric Target Prediction for Self-supervised Point Cloud Pre-Training},
author = {Xiaoyu Tian and Haoxi Ran and Yue Wang and Hang Zhao},
journal= {arXiv preprint arXiv:2305.08808},
year = {2023}
}
备注
Accepted to CVPR 2023