SFOD：脉冲融合目标检测器
计算机视觉与模式识别
2024-03-25 v1 人工智能
摘要
事件相机具有高时间分辨率、高动态范围、低功耗和高像素带宽的特点，为特定场景下的目标检测提供了独特能力。尽管有这些优势，事件数据固有的稀疏性和异步性给现有目标检测算法带来了挑战。脉冲神经网络（SNN）受人类大脑编码和处理信息的方式启发，为这些难题提供了一种潜在的解决方案。然而，在目前基于事件相机的目标检测实现中，其性能有限。本文提出了脉冲融合目标检测器（SFOD），一种简单高效的基于SNN的目标检测方法。具体而言，我们设计了一个脉冲融合模块，首次在应用于事件相机的SNN中实现了不同尺度特征图的融合。此外，通过在NCAR数据集上对骨干网络进行预训练期间的综合分析与实验，我们深入探究了脉冲解码策略和损失函数对模型性能的影响。由此，我们基于SNN建立了最先进的分类结果，在NCAR数据集上达到了93.7%的准确率。在GEN1检测数据集上的实验结果表明，SFOD实现了32.1%的最先进mAP，优于现有的基于SNN的方法。我们的研究不仅突显了SNN在事件相机目标检测中的潜力，也推动了SNN的发展。代码可在https://github.com/yimeng-fan/SFOD获取。
引用
@article{arxiv.2403.15192,
title = {SFOD: Spiking Fusion Object Detector},
author = {Yimeng Fan and Wei Zhang and Changsong Liu and Mingyang Li and Wenrui Lu},
journal= {arXiv preprint arXiv:2403.15192},
year = {2024}
}
备注
Accepted by CVPR2024