EXODUS：脉冲神经网络的稳定高效训练
神经与进化计算
2022-05-23 v1 机器学习
机器学习
摘要
脉冲神经网络（SNNs）在能量效率至关重要的机器学习任务中正获得显著关注。然而，使用最先进的时间反向传播（BPTT）训练此类网络非常耗时。Shrestha和Orchard [2018]的先前工作采用了一种称为SLAYER的高效GPU加速反向传播算法，大幅加快了训练速度。但SLAYER在计算梯度时未考虑神经元重置机制，我们认为这是数值不稳定性的来源。为此，SLAYER引入了跨层的梯度缩放超参数，需要手动调节。在本文中，（i）我们改进SLAYER并设计了一种称为EXODUS的算法，其考虑了神经元重置机制并应用隐函数定理（IFT）计算正确的梯度（等价于BPTT计算的梯度）；（ii）我们消除了对梯度临时缩放的需求，从而极大降低了训练复杂度；（iii）我们通过计算机仿真证明，EXODUS数值稳定，并在依赖时间特征的各类SNN任务中取得与SLAYER相当或更好的性能。我们的代码可在 https://github.com/synsense/sinabs-exodus 获取。
引用
@article{arxiv.2205.10242,
title = {EXODUS: Stable and Efficient Training of Spiking Neural Networks},
author = {Felix Christian Bauer and Gregor Lenz and Saeid Haghighatshoar and Sadique Sheik},
journal= {arXiv preprint arXiv:2205.10242},
year = {2022}
}