用于目标检测的深度直接训练脉冲神经网络
计算机视觉与模式识别
2023-07-28 v3 人工智能
摘要
脉冲神经网络（SNNs）是受脑启发的能效模型，在时空动态中编码信息。近来，直接训练的深度SNN在以极少时间步长实现分类任务高性能方面取得巨大成功。然而，如何设计用于目标检测回归任务的直接训练SNN仍是一个挑战性问题。为解决该问题，我们提出EMS-YOLO，一种用于目标检测的新颖直接训练SNN框架，这是首次尝试用替代梯度而非ANN-SNN转换策略训练深度SNN进行目标检测。具体而言，我们设计了全脉冲残差块EMS-ResNet，其能以低功耗有效扩展直接训练SNN的深度。此外，我们从理论上分析并证明EMS-ResNet可避免梯度消失或爆炸。结果表明，我们的方法在极少时间步长（仅4步）下优于最先进的ANN-SNN转换方法（至少500步）。结果显示，在基于帧的COCO数据集与基于事件的Gen1数据集上，我们的模型能以相同架构达到与ANN可比的性能，同时能耗降低5.83倍。
引用
@article{arxiv.2307.11411,
title = {Deep Directly-Trained Spiking Neural Networks for Object Detection},
author = {Qiaoyi Su and Yuhong Chou and Yifan Hu and Jianing Li and Shijie Mei and Ziyang Zhang and Guoqi Li},
journal= {arXiv preprint arXiv:2307.11411},
year = {2023}
}
备注
Accepted by ICCV2023