面向多尺度时空互动学习的脉冲神经网络进阶
计算机视觉与模式识别
2024-05-28 v2
摘要
近期神经科学研究的进展推动了脉冲神经网络 (SNN) 的发展，这些网络不仅有潜力进一步推动神经科学研究，也可作为人工神经网络 (ANN) 的节能替代方案，因其由脉冲驱动的特性。然而，过往研究常忽视事件数据中多尺度信息及其时空关联，导致 SNN 模型将输入事件的每个帧近似为静态图像。我们假设，这种过度简化显著contributions 到 SNN 与传统 ANN 之间性能差距。为此，我们设计了脉冲多尺度注意力 (SMA) 模块，用于捕获多尺度时空互动信息。此外，我们开发了一种名为注意力区域遮盖 (AZO) 的正则化方法，利用时空注意力权重通过伪集成训练降低模型的泛化误差。我们的方法在主流神经形态数据集上实现了最先进的性能。此外，我们使用 104 层 ResNet 架构集成 SMA 和 AZO，在 Imagenet-1K 数据集上达到了 77.1% 的性能，该成就确认了非 Transformer 架构下 SNN 的最先进水平，强化了我们方法在弥合 SNN 模型与传统 ANN 模型性能差距方面的有效性。
引用
@article{arxiv.2405.13672,
title = {Advancing Spiking Neural Networks towards Multiscale Spatiotemporal Interaction Learning},
author = {Yimeng Shan and Malu Zhang and Rui-jie Zhu and Xuerui Qiu and Jason K. Eshraghian and Haicheng Qu},
journal= {arXiv preprint arXiv:2405.13672},
year = {2024}
}