一种用于深度脉冲神经网络高效训练与快速推理的串联学习规则
神经与进化计算
2020-07-01 v3
摘要
脉冲神经网络（SNNs）是神经形态计算（NC）架构中最显著的受生物启发计算模型。然而，由于脉冲神经元函数的不可微本性，标准误差反向传播算法不能直接应用于 SNN。本工作中，我们提出一种串联学习框架，由一个 SNN 和一个通过权值共享耦合的人工神经网络（ANN）组成。该 ANN 是一种辅助结构，用于在脉冲序列层面促进 SNN 训练的误差反向传播。为此，我们将脉冲计数视为 SNN 中的离散神经表征，并设计可有效近似耦合 SNN 脉冲计数的 ANN 神经元激活函数。所提串联学习规则在常规基于帧和基于事件的视觉数据集上均展现出具有竞争力的模式识别与回归能力，推理时间与总突触操作数比其他最先进 SNN 实现至少降低一个数量级。因此，所提串联学习规则为以低计算资源训练高效、低延迟、高精度的深度 SNN 提供了一种新颖解决方案。
引用
@article{arxiv.1907.01167,
title = {A Tandem Learning Rule for Effective Training and Rapid Inference of Deep Spiking Neural Networks},
author = {Jibin Wu and Yansong Chua and Malu Zhang and Guoqi Li and Haizhou Li and Kay Chen Tan},
journal= {arXiv preprint arXiv:1907.01167},
year = {2020}
}