Point-BERT：基于掩码点建模的3D点云Transformer预训练
计算机视觉与模式识别
2022-06-07 v2 人工智能
机器学习
摘要
我们提出 Point-BERT，一种学习 Transformers 以将 BERT 概念推广至 3D 点云的新范式。受 BERT 启发，我们设计了一个掩码点建模（MPM）任务来预训练点云 Transformers。具体而言，我们首先将一个点云划分为若干局部点块，并设计了一个带有离散变分自编码器（dVAE）的点云分词器，以生成包含有意义局部信息的离散点令牌。然后，我们随机掩码掉输入点云的一些块，并将其送入主干 Transformers。预训练目标是在分词器所获点令牌的监督下，恢复掩码位置处的原始点令牌。大量实验表明，所提出的 BERT 风格预训练策略显著提升了标准点云 Transformers 的性能。借助我们的预训练策略，我们展示纯 Transformer 架构在 ModelNet40 上达到 93.8% 准确率，在 ScanObjectNN 最难设定下达到 83.1% 准确率，超越了精心设计并依赖大量人工设计的的点云模型。我们还表明，Point-BERT 学到的表示能很好地迁移至新任务与领域，我们的模型大幅推进了少样本点云分类任务的当前最优水平。代码与预训练模型见 https://github.com/lulutang0608/Point-BERT
引用
@article{arxiv.2111.14819,
title = {Point-BERT: Pre-training 3D Point Cloud Transformers with Masked Point Modeling},
author = {Xumin Yu and Lulu Tang and Yongming Rao and Tiejun Huang and Jie Zhou and Jiwen Lu},
journal= {arXiv preprint arXiv:2111.14819},
year = {2022}
}
备注
Accepted to CVPR 2022, Project page: https://point-bert.ivg-research.xyz