用于点云分析的高效脉冲点 Mamba
计算机视觉与模式识别
2025-06-27 v2
摘要
受生物启发的脉冲神经网络 (SNN) 提供了一种高效提取 3D 空间-时间特征的途径。然而，现有的 3D SNN 在处理长程依赖方面一直表现不佳，直至最近出现的 Mamba 机制展现出卓越的计算效率和序列建模能力。本工作提出了脉冲点 Mamba (SPM)，首个基于 Mamba 的 3D 域 SNN。由于简单迁移 Mamba 到 3D SNN 的表现不佳，SPM 设计为同时利用 Mamba 的序列建模能力和 SNN 的时序特征提取能力。具体而言，我们首先引入层次动态编码 (HDE)，一种改进的直接编码方法，有效地引入动态时序机制，从而促进时序相互作用。随后，我们提出了脉冲 Mamba 模块 (SMB)，该模块基于 Mamba，学习时序特征间的交互，同时最小化因脉冲引入的信息损失。最后，为进一步提升模型性能，我们采用非对称 SNN-ANN 架构进行基于脉冲的预训练和微调。与以往的最先进 SNN 模型相比，SPM 在三个 ScanObjectNN 变体上的 OA 提升了 +6.2%、+6.1% 和 +7.4%，在 ShapeNetPart 上将实例 mIOU 提升了 +1.9%。同时，其能耗至少比 ANN 模型低 3.5 倍。该代码将公开发布。
引用
@article{arxiv.2504.14371,
title = {Efficient Spiking Point Mamba for Point Cloud Analysis},
author = {Peixi Wu and Bosong Chai and Menghua Zheng and Wei Li and Zhangchi Hu and Jie Chen and Zheyu Zhang and Hebei Li and Xiaoyan Sun},
journal= {arXiv preprint arXiv:2504.14371},
year = {2025}
}
备注
Accepted by ICCV 2025