直接训练高性能深度脉冲神经网络：理论与方法综述
神经与进化计算
2024-07-12 v2
摘要
脉冲神经网络（SNN）凭借其高度生物学合理性、丰富的时空动力学以及事件驱动计算，提供了人工神经网络（ANN）的一种具有能效优势的替代方案。基于代理梯度方法的直接训练算法为设计新型SNN架构和探索SNN的时空动力学提供了充分的灵活性。根据前期研究，模型的性能高度依赖于其规模。最近，直接训练的深度SNN在神经形态数据集和大规模静态数据集上均取得了显著进展。值得注意的是，基于Transformer的SNN表现与其ANN对应方案相当。本文提出了一种系统性和全面性地总结高性能深度SNN训练理论与方法的新视角，包括理论基础、脉冲神经元模型、先进的SNN模型与残差架构、软件框架与神经形态硬件、应用领域以及未来发展趋势。本文所综述的论文已收集于 https://github.com/zhouchenlin2096/Awesome-Spiking-Neural-Networks
关键词
引用
@article{arxiv.2405.04289,
title = {Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods},
author = {Chenlin Zhou and Han Zhang and Liutao Yu and Yumin Ye and Zhaokun Zhou and Liwei Huang and Zhengyu Ma and Xiaopeng Fan and Huihui Zhou and Yonghong Tian},
journal= {arXiv preprint arXiv:2405.04289},
year = {2024}
}
备注
Accepted by Frontiers in Neuroscience