Spikeformer：一种用于训练高性能低延迟脉冲神经网络的新架构
神经与进化计算
2022-11-22 v1 人工智能
摘要
近年来，脉冲神经网络（SNNs）在性能与效率上均取得重大进展，但其独特工作模式使得训练高性能低延迟 SNN 十分困难，导致 SNN 的发展仍落后于传统人工神经网络（ANNs）。为弥补此差距，已有诸多杰出工作提出。然而，这些工作主要基于同类网络结构（即 CNN）且性能不及对应 ANN，限制了 SNN 应用。为此，我们提出一种基于 Transformer 的新型 SNN，称为“Spikeformer”，其在静态与神经形态数据集上均优于对应 ANN，并可能成为替代 CNN 训练高性能 SNN 的架构。首先，为应对原始模型表现出的“数据饥渴”与训练期不稳定问题，我们设计卷积分词（CT）模块，将原始模型在 DVS-Gesture 上的准确率提升超 16%。此外，为更好融合 Transformer 内部注意力机制与 SNN 固有的时空信息，我们采用时空注意力（STA）替代空间或时间单独注意力。借助所提方法，我们在 DVS-CIFAR10、DVS-Gesture 与 ImageNet 数据集上以最少仿真时间步（即低延迟）取得具竞争力或最优（SOTA）的 SNN 性能。值得注意的是，我们的 Spikeformer 在 ImageNet 上大幅（超 5%）优于其他 SNN，并分别在 DVS-Gesture 与 ImageNet 上以 3.1% 与 2.2% 优于其对应 ANN，表明 Spikeformer 是训练大规模 SNN 的有前景架构，且相比 CNN 可能更适配 SNN。我们相信本工作将尽可能使 SNN 与 ANN 发展同步。代码将公开。
引用
@article{arxiv.2211.10686,
title = {Spikeformer: A Novel Architecture for Training High-Performance Low-Latency Spiking Neural Network},
author = {Yudong Li and Yunlin Lei and Xu Yang},
journal= {arXiv preprint arXiv:2211.10686},
year = {2022}
}