直接训练的脉冲目标检测器的时间动力学增强器
计算机视觉与模式识别
2025-12-03 v1
摘要
脉冲神经网络 (SNN) 因其受大脑启发的时空动力学和基于脉冲的计算,已成为能效高效的人工神经网络 (ANN) 的有前景的替代方案。然而,现有的 SNN 通常直接复制输入或在固定时间间隔将其聚合为帧。此类策略导致神经元在各时间步接收近似相同刺激,严重限制了模型在目标检测等复杂任务中的表达能力。本文提出了时间动力学增强器 (TDE) 以强化 SNN 对时序信息的建模能力。TDE 包含两个模块:生成跨时间步多样化输入刺激的脉冲编码器 (SE),以及基于时序间依赖性引导 SE 生成的注意力门控模块 (AGM)。此外,为消除 AGM 引入的高能乘法运算,我们提出了脉冲驱动注意力 (SDA) 以降低注意力相关能耗。大量实验表明,TDE 可无缝集成到现有的 SNN-based 检测器中,在静态 PASCAL VOC 数据集上实现 57.7% 的 mAP50-95,在神经形态 EvDET200K 数据集上实现 47.6%。在能耗方面,SDA 的能耗仅为常规注意力模块的 0.240 倍。
引用
@article{arxiv.2512.02447,
title = {Temporal Dynamics Enhancer for Directly Trained Spiking Object Detectors},
author = {Fan Luo and Zeyu Gao and Xinhao Luo and Kai Zhao and Yanfeng Lu},
journal= {arXiv preprint arXiv:2512.02447},
year = {2025}
}