PMT-MAE：基于蒸馏的双分支自监督学习用于高效点云分类
计算机视觉与模式识别
2024-09-17 v2
摘要
自监督学习的进展对于增强点云处理中的特征提取和理解至关重要。本文引入了 PMT-MAE（Point MLP-Transformer Masked Autoencoder），这是一种用于点云分类的 novel 自监督学习框架。PMT-MAE 具备双分支体系结构，将 Transformer 和 MLP 组件集成以捕获丰富特征。Transformer 分支利用全局自注意力进行复杂特征交互，而平行的 MLP 分支通过共享的全连接层处理 token，提供一种互补的特征转换通道。随后，融合机制将这些特征组合起来，增强了模型学习综合 3D 表示的能力。由高级教师模型 Point-M2AE 指导，PMT-MAE 采用包括预训练期间特征蒸馏和微调期间逻辑蒸馏的蒸馏策略，确保有效的知识传递。在 ModelNet40 分类任务上，PMT-MAE 实现了 93.6% 的准确率（未采用投票策略），显著优于基线 Point-MAE (93.2%) 和教师 Point-M2AE (93.4%)，凸显了其学习判别性 3D 点云表示的能力。此外，该框架显示出高效性，只需进行 40 个 epoch 的预训练和微调即可。PMT-MAE 的有效性和效率使其适用于计算资源有限的场景，作为实际点云分析的有前景的解决方案。
关键词
引用
@article{arxiv.2409.02007,
title = {PMT-MAE: Dual-Branch Self-Supervised Learning with Distillation for Efficient Point Cloud Classification},
author = {Qiang Zheng and Chao Zhang and Jian Sun},
journal= {arXiv preprint arXiv:2409.02007},
year = {2024}
}