用于训练高性能脉冲神经网络的时空反向传播
神经与进化计算
2018-09-18 v3 神经元与认知
机器学习
摘要
与人工神经网络（ANN）相比，脉冲神经网络（SNN）有望探索类脑行为，因为脉冲可以编码更多的时空信息。尽管基于ANN的预训练或基于反向传播（BP）的直接训练使得SNN的有监督训练成为可能，但这些方法仅利用了网络的空间域信息，导致性能瓶颈并需要许多复杂的训练技巧。另一个根本性问题是脉冲活动本质上是不可微的，这给SNN的训练带来了巨大困难。为此，我们构建了一个更适合梯度下降训练的迭代LIF模型。通过在训练阶段同时考虑逐层的空间域（SD）和时序依赖的时间域（TD），以及脉冲活动的近似导数，我们提出了一个时空反向传播（STBP）训练框架，无需使用任何复杂技术。在静态MNIST和动态N-MNIST数据集以及一个自定义目标检测数据集上，我们实现了多层感知机（MLP）的最佳性能，优于现有的最先进算法。这项工作为探索具有丰富时空动力学特性的未来类脑计算范式的高性能SNN提供了一个新的视角。
引用
@article{arxiv.1706.02609,
title = {Spatio-Temporal Backpropagation for Training High-performance Spiking Neural Networks},
author = {Yujie Wu and Lei Deng and Guoqi Li and Jun Zhu and Luping Shi},
journal= {arXiv preprint arXiv:1706.02609},
year = {2018}
}