中文

Voxel Mamba:基于点云三维目标检测的无分组状态空间模型

计算机视觉与模式识别 2024-06-19 v2 机器人学

摘要

基于序列化的方法将3D体素序列化并在输入Transformer之前将其分组为多个序列,已在3D目标检测中证明了其有效性。然而,将3D体素序列化为1D序列不可避免地会牺牲体素的空间邻近性。由于Transformer随特征尺寸的二次复杂度,通过现有基于序列化的方法扩大分组大小难以解决此问题。受状态空间模型(SSM)最新进展的启发,我们提出了一种体素SSM,称为Voxel Mamba,它采用无分组策略将整个体素空间序列化为单个序列。SSM的线性复杂度促进了我们的无分组设计,减轻了体素空间邻近性的损失。为了进一步增强空间邻近性,我们提出了一个双尺度SSM块来建立层次结构,从而在1D序列化曲线上实现更大的感受野,以及在3D空间中更完整的局部区域。此外,我们在无分组框架下通过位置编码隐式应用窗口划分,通过编码体素位置信息进一步增强了空间邻近性。我们在Waymo Open Dataset和nuScenes数据集上的实验表明,Voxel Mamba不仅比最先进的方法实现了更高的精度,而且在计算效率方面也显示出显著优势。

关键词

引用

@article{arxiv.2406.10700,
  title  = {Voxel Mamba: Group-Free State Space Models for Point Cloud based 3D Object Detection},
  author = {Guowen Zhang and Lue Fan and Chenhang He and Zhen Lei and Zhaoxiang Zhang and Lei Zhang},
  journal= {arXiv preprint arXiv:2406.10700},
  year   = {2024}
}

备注

10 pages, 4 figures