面向自监督点云学习的掩码曲面元预测
计算机视觉与模式识别
2022-07-08 v1 人工智能
摘要
掩码自编码是一种流行且有效的点云自监督学习方法。然而，现有方法大多仅重建被掩码的点，忽略了同样对理解点云数据至关重要的局部几何信息。在本工作中，据我们所知，我们首次尝试将局部几何信息显式地纳入掩码自编码，并提出了一种新颖的掩码曲面元预测（MaskSurf）方法。具体而言，给定以高比例掩码的输入点云，我们学习一个基于Transformer的编码器-解码器网络，通过同时预测曲面元位置（即点）和每个曲面元的方向（即法线）来估计底层的被掩码曲面元。点和法线的预测分别通过倒角距离和新引入的位置索引法线距离以集合到集合的方式进行监督。我们的MaskSurf在三种微调策略下的六个下游任务上进行了验证。特别地，在ScanObjectNN真实世界数据集的OBJ-BG设置下，MaskSurf的性能比其最接近的竞争对手Point-MAE高出1.2%，证明了掩码曲面元预测相对于掩码点云重建的优势。代码将发布于https://github.com/YBZh/MaskSurf。
引用
@article{arxiv.2207.03111,
title = {Masked Surfel Prediction for Self-Supervised Point Cloud Learning},
author = {Yabin Zhang and Jiehong Lin and Chenhang He and Yongwei Chen and Kui Jia and Lei Zhang},
journal= {arXiv preprint arXiv:2207.03111},
year = {2022}
}
备注
Codes will be available at https://github.com/YBZh/MaskSurf