一种用于脉冲神经网络的空间-通道-时间融合注意力
计算机视觉与模式识别
2024-10-28 v3 神经与进化计算
神经元与认知
摘要
脉冲神经网络（SNNs）模拟大脑计算策略，并在时空信息处理中展现出显著能力。作为人类感知的基本因素，视觉注意力指的是在生物视觉系统中选择显著区域的动态过程。尽管视觉注意力机制在计算机视觉应用中取得了巨大成功，但它们很少被引入 SNNs。受关于预测性注意重映射的实验观察启发，我们在本研究中提出了一种新的空间-通道-时间融合注意力（SCTFA）模块，该模块可利用累积的历史空间-通道信息引导 SNNs 高效捕获潜在目标区域。通过对三个事件流数据集（DVS Gesture、SL-Animals-DVS 和 MNIST-DVS）的系统评估，我们证明带有 SCTFA 模块的 SNN（SCTFA-SNN）不仅显著优于基线 SNN（BL-SNN）和另外两个具有退化注意力模块的 SNN 模型，而且与现有最先进方法取得了有竞争力的精度。此外，我们的详细分析表明，所提出的 SCTFA-SNN 模型对噪声具有很强的鲁棒性，并且在面对不完整数据时具有出色的稳定性，同时保持了可接受的复杂度和效率。总体而言，这些发现表明，引入大脑适当的认知机制可能为提升 SNNs 的能力提供一条有前景的途径。
引用
@article{arxiv.2209.10837,
title = {A Spatial-channel-temporal-fused Attention for Spiking Neural Networks},
author = {Wuque Cai and Hongze Sun and Rui Liu and Yan Cui and Jun Wang and Yang Xia and Dezhong Yao and Daqing Guo},
journal= {arXiv preprint arXiv:2209.10837},
year = {2024}
}
备注
14 pages, 9 figures, 5 tabes; This work has been submitted to the IEEE for possible publication