DTA：脉冲神经网络的双时间-通道注意力机制
计算机视觉与模式识别
2025-03-14 v1 人工智能
神经与进化计算
摘要
脉冲神经网络（SNN）通过利用时空动态和事件驱动脉冲，为人工神经网络（ANN）提供了一种更节能的替代方案。有效利用时间信息对 SNN 至关重要，这促使人们探索注意力机制来增强这一能力。传统的注意力操作要么在目标维度上应用相同操作，要么采用不同操作。我们发现这些方法从不同视角看待时间信息。为了利用两种操作的优势，我们提出了一种新颖的双时间-通道注意力（DTA）机制，整合了相同/不同注意力策略。据我们所知，这是首次同时关注使用相同和不同注意力操作的时间-通道相关性与依赖性。实验结果表明，DTA 机制在静态数据集（CIFAR10、CIFAR100、ImageNet-1k）和动态数据集（CIFAR10-DVS）上均取得了最先进的性能，提升了脉冲表示并捕捉了复杂的时间-通道关系。我们开源了代码：https://github.com/MnJnKIM/DTA-SNN。
引用
@article{arxiv.2503.10052,
title = {DTA: Dual Temporal-channel-wise Attention for Spiking Neural Networks},
author = {Minje Kim and Minjun Kim and Xu Yang},
journal= {arXiv preprint arXiv:2503.10052},
year = {2025}
}
备注
Accepted by IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025