TCJA-SNN：用于脉冲神经网络的时序-通道联合注意力
计算机视觉与模式识别
2024-04-18 v3 人工智能
摘要
脉冲神经网络（SNNs）因其生物合理性、能量效率以及强大的时空信息表征能力而受到广泛关注。鉴于注意力机制在提升神经网络性能方面的关键作用，SNN 与注意力机制的融合展现出提供高能效、高性能计算范式的潜力。我们提出一种新颖的用于 SNN 的时序-通道联合注意力机制，称为 TCJA-SNN。所提出的 TCJA-SNN 框架能够有效从空间和时间维度评估脉冲序列的重要性。更具体地，我们的核心技术贡献在于：1）我们采用压缩（squeeze）操作将脉冲流压缩为平均矩阵。然后，我们利用基于高效一维卷积的两个局部注意力机制，分别在时序和通道层面独立地促进全面的特征提取。2）我们引入交叉卷积融合（CCF）层作为一种新颖方法，以建模时序与通道范围之间的相互依赖关系。该层打破了这两个维度的独立性，并实现了特征间的交互。实验结果表明，所提出的 TCJA-SNN 在包括 Fashion-MNIST、CIFAR10-DVS、N-Caltech 101 和 DVS128 Gesture 在内的标准静态和神经形态数据集上，准确率超越 SOTA 高达 15.7%。此外，我们通过利用变分自编码器将 TCJA-SNN 框架应用于图像生成任务。据我们所知，本研究是 SNN-注意力机制用于图像分类和生成任务的首次实例。值得注意的是，我们的方法在两个领域均取得了 SOTA 性能，确立了该领域的重大进展。代码可在 https://github.com/ridgerchu/TCJA 获取。
引用
@article{arxiv.2206.10177,
title = {TCJA-SNN: Temporal-Channel Joint Attention for Spiking Neural Networks},
author = {Rui-Jie Zhu and Malu Zhang and Qihang Zhao and Haoyu Deng and Yule Duan and Liang-Jian Deng},
journal= {arXiv preprint arXiv:2206.10177},
year = {2024}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems