用于训练深度脉冲神经网络具有生物学合理时空调整的背向传播
神经与进化计算
2021-10-25 v2 计算机视觉与模式识别
摘要
脉冲神经网络(SNN)模拟人脑的信息处理操作,在包含丰富空间与时间信息的脉冲序列中表示并传输信息,并在许多认知任务上展现出优越性能。此外,事件驱动的信息处理使其能在神经形态芯片上实现高能效。深度学习的成功离不开反向传播。由于离散的信息传输,直接将反向传播应用于 SNN 的训练仍与传统深度神经网络存在性能差距。并且,需要较大的仿真时间以获得更好性能,导致高延迟。为解决这些问题,我们提出一种生物学合理的空间调整,重新审视膜电位与脉冲之间的关系,并实现对不同时间步梯度的合理调整。它精确控制误差沿空间维度的反向传播。其次,我们提出一种生物学合理的时间调整,使误差在时间维度上跨脉冲传播,克服了传统脉冲神经元在单个脉冲周期内的时间依赖性问题。我们在多个数据集上验证了算法,实验结果表明我们的算法大幅降低了网络延迟与能耗,同时提升了网络性能。我们在神经形态数据集 N-MNIST、DVS-Gesture 和 DVS-CIFAR10 上取得了最先进的性能。对于静态数据集 MNIST 和 CIFAR10,我们超越了大多数传统 SNN 反向传播训练算法并取得了相对优越的性能。
引用
@article{arxiv.2110.08858,
title = {Backpropagation with Biologically Plausible Spatio-Temporal Adjustment For Training Deep Spiking Neural Networks},
author = {Guobin Shen and Dongcheng Zhao and Yi Zeng},
journal= {arXiv preprint arXiv:2110.08858},
year = {2021}
}