掩码自编码器在三维点云表示学习中的应用
计算机视觉与模式识别
2023-09-12 v2
摘要
基于 Transformer 的自监督表示学习方法从未标注数据集中学习通用特征，为下游任务提供有用的网络初始化参数。近来，针对三维点云数据基于掩码局部表面块的自我监督学习尚待充分探索。本文提出三维点云表示学习中的掩码自编码器（简称 MAE3D），一种用于自监督学习的新型自编码范式。我们首先将输入点云分块并掩码其中一部分，然后使用我们的块嵌入模块提取未掩码块的特征。其次，我们采用逐块 MAE3D Transformer 学习点云块的局部特征及块间高层上下文关系，并完成掩码块的潜在表示。我们使用带有多任务损失的点云重建模块来补全不完整点云。我们在 ShapeNet55 上以点点云补全前置任务进行自监督预训练，并在 ModelNet40 与 ScanObjectNN（PB_T50_RS，最难变体）上微调预训练模型。综合实验表明，我们的 MAE3D 从点云块提取的局部特征有益于下游分类任务，显著优于当前最优方法（分类准确率分别为 和 ）。
引用
@article{arxiv.2207.01545,
title = {Masked Autoencoders in 3D Point Cloud Representation Learning},
author = {Jincen Jiang and Xuequan Lu and Lizhi Zhao and Richard Dazeley and Meili Wang},
journal= {arXiv preprint arXiv:2207.01545},
year = {2023}
}
备注
Accepted to IEEE Transactions on Multimedia