通过基于发放率的反向传播提升深度脉冲神经网络训练效率
机器学习
2024-10-23 v2 神经与进化计算
摘要
最近的见解表明，在训练深度脉冲神经网络（SNN）时，基于替代梯度的随时间反向传播（BPTT）所捕获的发放率编码是信息表征的主要形式。受这些发现的启发，我们提出了基于发放率的反向传播，这是一种专门设计用于利用发放率表征来降低BPTT复杂度的训练策略。我们的方法通过关注平均动态来减少对详细时间导数的依赖，简化计算图以降低SNN训练的内存和计算需求。我们通过理论分析和实证观察证实了BPTT与所提出方法之间梯度近似的合理性。在CIFAR-10、CIFAR-100、ImageNet和CIFAR10-DVS上的综合实验表明，我们的方法达到了与BPTT相当的性能，并超越了现有高效训练技术。通过利用发放率编码的内在优势，这项工作为在资源受限环境中进行更高效的SNN训练奠定了基础。我们的代码可在 https://github.com/Tab-ct/rate-based-backpropagation 获取。
关键词
引用
@article{arxiv.2410.11488,
title = {Advancing Training Efficiency of Deep Spiking Neural Networks through Rate-based Backpropagation},
author = {Chengting Yu and Lei Liu and Gaoang Wang and Erping Li and Aili Wang},
journal= {arXiv preprint arXiv:2410.11488},
year = {2024}
}
备注
Accepted by NeurIPS 2024