脉冲神经网络中的固有冗余
神经与进化计算
2023-08-17 v1 计算机视觉与模式识别
机器学习
摘要
脉冲神经网络（SNNs）作为传统人工神经网络的一种有前景的节能替代方案而广为人知。受制于 SNNs 稀疏放电的先入为主印象，对 SNNs 中固有冗余的分析与优化在很大程度上被忽视，从而干扰了基于脉冲的神经形态计算在精度和能效方面的潜在优势。本工作中，我们提出并聚焦于关于 SNNs 固有冗余的三个关键问题。我们认为该冗余由 SNNs 的时空不变性引起，其提升了参数利用效率，但也引入了大量噪声脉冲。进一步，我们分析了时空不变性对 SNNs 时空动态与脉冲发放的影响。进而，受这些分析启发，我们提出一种先进空间注意力（ASA）模块来利用 SNNs 的冗余，其通过一对独立的空间注意力子模块自适应优化膜电位分布。以此方式，噪声脉冲特征被精确调控。实验结果表明，所提方法能显著减少脉冲发放，且性能优于最先进的 SNN 基线。我们的代码见 \url{https://github.com/BICLab/ASA-SNN}。
引用
@article{arxiv.2308.08227,
title = {Inherent Redundancy in Spiking Neural Networks},
author = {Man Yao and Jiakui Hu and Guangshe Zhao and Yaoyuan Wang and Ziyang Zhang and Bo Xu and Guoqi Li},
journal= {arXiv preprint arXiv:2308.08227},
year = {2023}
}
备注
Accepted by ICCV2023