Point Mamba: 一种基于状态空间模型并采用八叉树排序策略的点云主干网络
计算机视觉与模式识别
2024-03-19 v2
摘要
近年来，状态空间模型 (SSM) 因其在语言和图像领域中出色的性能、线性复杂度和长序列建模能力而备受关注。然而，由于 SSM 的因果性要求以及点云的无序性和不规则性，将 SSM 扩展到点云领域并非易事。在本文中，我们提出了一种基于 SSM 的点云处理主干网络，名为 Point Mamba，其具有因果性感知的排序机制。为了构建因果依赖关系，我们在原始不规则点上设计了基于八叉树的排序策略，以 z-order 序列对点进行全局排序，同时保留它们的空间邻近性。与基于 Transformer 的对应方法相比，我们的方法实现了最先进的性能，在 ModelNet40 分类数据集和 ScanNet 语义分割数据集上分别达到 93.4% 的准确率和 75.7 mIOU。此外，我们的 Point Mamba 具有线性复杂度，比基于 Transformer 的方法更高效。我们的方法展示了 SSM 作为点云理解通用主干网络的巨大潜力。代码已发布于 https://github.com/IRMVLab/Point-Mamba。
引用
@article{arxiv.2403.06467,
title = {Point Mamba: A Novel Point Cloud Backbone Based on State Space Model with Octree-Based Ordering Strategy},
author = {Jiuming Liu and Ruiji Yu and Yian Wang and Yu Zheng and Tianchen Deng and Weicai Ye and Hesheng Wang},
journal= {arXiv preprint arXiv:2403.06467},
year = {2024}
}