无注意力 Spikformer：以简单线性变换混合脉冲序列
计算机视觉与模式识别
2023-08-21 v2
摘要
通过将自注意力能力与脉冲神经网络(SNNs)的生物特性相结合，Spikformer 将蓬勃发展的 Transformer 架构应用于 SNNs 设计。它引入了脉冲自注意力(Spiking Self-Attention, SSA)模块，利用脉冲形式的 Query、Key 与 Value 混合稀疏视觉特征，相较于先前类 SNN 框架，在众多数据集上取得了最先进(SOTA)性能。本文中，我们证明可用无参数的线性变换(Linear Transform, LT)(如傅里叶与小波变换)替代 SSA 来加速 Spikformer 架构。这些变换用于混合脉冲序列，将二次时间复杂度降至对数线性时间复杂度。它们在频域与时域间交替以提取稀疏视觉特征，展现出强大的性能与效率。我们在基于神经形态与静态数据集的图像分类上进行了广泛实验。结果表明，相较于带 SSA 的 SOTA Spikformer，带 LT 的 Spikformer 在神经形态数据集(即 CIFAR10-DVS 与 DVS128 Gesture)上取得了更高的 Top-1 准确率，在静态数据集(即 CIFAR-10 与 CIFAR-100)上取得了相当的 Top-1 准确率。此外，由于无需可学习参数，带 LT 的 Spikformer 在训练速度上提升约 29–51%，推理速度上提升 61–70%，并减少 4–26% 的内存占用。
引用
@article{arxiv.2308.02557,
title = {Attention-free Spikformer: Mixing Spike Sequences with Simple Linear Transforms},
author = {Qingyu Wang and Duzhen Zhang and Tielin Zhang and Bo Xu},
journal= {arXiv preprint arXiv:2308.02557},
year = {2023}
}
备注
Under Review