重新思考残差连接在大尺度脉冲神经网络训练中的作用
神经与进化计算
2023-11-10 v1
摘要
脉冲神经网络（Spiking Neural Network, SNN）被誉为最著名的类脑模型，但其不可微的脉冲机制使得大尺度 SNN 难以训练。为促进大尺度 SNN 的训练，许多训练方法借鉴自人工神经网络（Artificial Neural Networks, ANNs），其中深度残差学习最为常用。但 SNN 的独有特性使得基于 ANN 的既有直觉不适用于 SNN。尽管已有少数研究对脉冲 ResNet 的拓扑结构进行了先驱性尝试，但不同连接的优势仍不明确。为解决此问题，我们分析了各类残差连接的优缺点，并通过大量实验实证了我们的观点。进而，基于观察结果，我们将性能最优的连接抽象为稠密加性（densely additive, DA）连接，将这一概念推广至其他拓扑，并提出四种用于训练大尺度 SNN 的架构，称为 DANet，其在 ImageNet 上带来了最高 13.24% 的准确率提升。此外，为给出设计大尺度 SNN 拓扑的详细方法，我们进一步就其针对不同规模数据集上的性能深入讨论了适用场景，并展示了相较于已有架构的优势。在以较低训练开销下，我们性能最优的 ResNet-50/101/152 在 4 个时间步长下于 ImageNet 取得 73.71%/76.13%/77.22% 的 top-1 准确率。我们相信本工作将为未来网络拓扑设计提供见解，并推动大尺度 SNN 的发展。代码将公开可用。
引用
@article{arxiv.2311.05171,
title = {Rethinking Residual Connection in Training Large-Scale Spiking Neural Networks},
author = {Yudong Li and Yunlin Lei and Xu Yang},
journal= {arXiv preprint arXiv:2311.05171},
year = {2023}
}