中文

SpikeSMOKE:基于跨尺度门控编码的脉冲神经网络单目 3D 目标检测

计算机视觉与模式识别 2026-03-11 v3

摘要

随着 3D 目标检测在诸多领域的广泛应用,其能耗不断增加,使得研究低功耗替代方案成为关键研究方向。拥有低功耗特性的脉冲神经网络 (SNN) 提供了一种新解决方案。因此,我们将 SNN 应用于单目 3D 目标检测,提出 SpikeSMOKE 架构,这是一种低功耗单目 3D 目标检测的新尝试。众所周知,SNN 的离散信号相对于人工神经网络 (ANN) 可能导致信息损失,这限制了其特征表示能力。为解决此问题,灵感来自生物神经元的突触滤波机制,我们提出了一种新的跨尺度门控编码机制 (CSGC),通过结合注意力方法的跨尺度融合和门控滤波机制来增强特征表示。此外,为减少计算量并加速训练,我们提出了一种新型轻量级残差模块,可维持脉冲计算范式并实现最高可能的检测性能。我们的方法在 KITTI、NuScenes-mini 和 CIFAR10/100 数据集上均有效。相对于基线 SpikeSMOKE,在 3D 目标检测任务中,采用 CSGC 的 SpikeSMOKE 在 KITTI 自动驾驶数据集上分别以 0.7 IoU 阈值下的 AP|R11 指标获得 Easy 11.78 (+2.82)、Moderate 10.69 (+3.2) 和 Hard 10.48 (+3.17)。值得注意的是,SpikeSMOKE 的结果在能耗方面显著低于 SMOKE。而且,SpikeSMOKE-L (轻量版) 相对于 SMOKE 可将参数数量降低 3 倍,计算量降低 10 倍。

关键词

引用

@article{arxiv.2506.07737,
  title  = {SpikeSMOKE: Spiking Neural Networks for Monocular 3D Object Detection with Cross-Scale Gated Coding},
  author = {Xuemei Chen and Huamin Wang and Jing Peng and Hangchi Shen and Shukai Duan and Shiping Wen and Tingwen Huang},
  journal= {arXiv preprint arXiv:2506.07737},
  year   = {2026}
}