基于张量分解的脉冲神经网络注意力模块
机器学习
2024-04-12 v2 计算机视觉与模式识别
摘要
注意力机制已被证明是提高脉冲神经网络（SNN）的有效方法。然而，基于当前 SNN 输入数据流被拆分为张量在 GPU 上处理这一事实，以往的工作均未考虑利用张量的性质来实现注意力模块。这启发我们从张量相关理论的角度重新思考当前的 SNN。利用张量分解，我们设计了\textit{投影全注意力}（PFA）模块，该模块以线性增长的参数取得了优异的结果。具体而言，PFA 由\textit{脉冲张量线性投影}（LPST）模块和\textit{注意力图合成}（AMC）模块组成。在 LPST 中，我们首先使用带有各维度可学习参数的单一保性质策略，将原始脉冲张量压缩为三个投影张量。然后，在 AMC 中，我们利用张量分解过程的逆过程，通过所谓连接因子将三个张量合成为注意力图。为验证所提 PFA 模块的有效性，我们将其集成到广泛使用的 VGG 和 ResNet 架构中用于分类任务。我们的方法在静态和动态基准数据集上均达到了最先进的性能，超越了现有基于 Transformer 和基于 CNN 骨干的 SNN 模型。
引用
@article{arxiv.2310.14576,
title = {Tensor Decomposition Based Attention Module for Spiking Neural Networks},
author = {Haoyu Deng and Ruijie Zhu and Xuerui Qiu and Yule Duan and Malu Zhang and Liangjian Deng},
journal= {arXiv preprint arXiv:2310.14576},
year = {2024}
}
备注
Accepted by Knowledge-Based Systems