Mamba3D：通过状态空间模型增强三维点云分析的局部特征
计算机视觉与模式识别
2024-09-04 v2 人工智能
机器学习
摘要
现有的基于Transformer的点云分析模型存在二次复杂度，导致点云分辨率降低和信息丢失。相比之下，新提出的基于状态空间模型（SSM）的Mamba模型在多个领域以线性复杂度超越了Transformer。然而，直接采用Mamba在点云任务上并未取得令人满意的性能。本文提出Mamba3D，一种专为点云学习定制的状态空间模型，用于增强局部特征提取，实现了优越的性能、高效率和可扩展潜力。具体来说，我们提出了一个简单而有效的局部范数池化（LNP）块来提取局部几何特征。此外，为了获得更好的全局特征，我们引入了一个双向SSM（bi-SSM），包括一个令牌前向SSM和一个新颖的基于特征通道的后向SSM。大量实验结果表明，Mamba3D在多个任务上超越了基于Transformer的对应方法和同期工作，无论是否预训练。值得注意的是，Mamba3D实现了多项最先进结果，包括在ScanObjectNN上从头训练的总体准确率92.6%，以及在ModelNet40分类任务上单模态预训练达到95.1%，且仅具有线性复杂度。我们的代码和权重可在https://github.com/xhanxu/Mamba3D获取。
引用
@article{arxiv.2404.14966,
title = {Mamba3D: Enhancing Local Features for 3D Point Cloud Analysis via State Space Model},
author = {Xu Han and Yuan Tang and Zhaoxuan Wang and Xianzhi Li},
journal= {arXiv preprint arXiv:2404.14966},
year = {2024}
}
备注
ACM MM 2024. Code and weights are available at https://github.com/xhanxu/Mamba3D