基于反向传播直接训练具有多阈值的超低延迟脉冲神经网络
神经与进化计算
2021-12-15 v1 机器学习
摘要
脉冲神经网络（SNNs）能够利用时空信息，并具有天然的能量效率，是深度神经网络（DNNs）的良好替代方案。事件驱动的信息处理使 SNNs 能够减少 DNNs 的昂贵计算并节省大量能耗。然而，高训练与推理延迟是更深 SNNs 发展的一个限制。SNNs 通常在训练与推理过程中需要数十甚至数百个时间步，这不仅导致延迟增加，也造成能耗浪费。为克服该问题，我们提出了一种基于反向传播（BP）的、面向具有多阈值的超低延迟（1-2 个时间步）SNN 的新型训练方法。为增加每次脉冲的信息容量，我们引入了多阈值泄漏积分发放（LIF）模型。在我们提出的训练方法中，提出了三种用于脉冲活动的近似导数，以解决不可微问题给基于 BP 直接训练 SNNs 带来的困难。实验结果表明，我们所提方法在 MNIST、FashionMNIST 和 CIFAR10 上仅用 2 个时间步即分别取得了 99.56%、93.08% 和 87.90% 的平均准确率。在 CIFAR10 数据集上，我们所提方法以更少的时间步相比先前报道的直接训练 SNNs 取得了 1.12% 的准确率提升。
引用
@article{arxiv.2112.07426,
title = {Direct Training via Backpropagation for Ultra-low Latency Spiking Neural Networks with Multi-threshold},
author = {Changqing Xu and Yi Liu and Yintang Yang},
journal= {arXiv preprint arXiv:2112.07426},
year = {2021}
}