基于二值激活反向传播的离散时间脉冲神经网络算法与硬件设计
神经与进化计算
2017-09-20 v1
摘要
我们提出了一种用于离散时间脉冲神经网络 (SNN) 的基于反向传播的新型训练算法。受近期二值化神经网络深度学习算法的启发，我们使用带有直通梯度估计器的二值激活来建模漏电积分触发脉冲神经元，克服了使用反向传播训练 SNN 的困难。我们提出了两种 SNN 训练算法：(1) 具有不连续积分的 SNN，适用于速率编码的输入脉冲；(2) 具有连续积分的 SNN，更具通用性，能够处理带有时间信息的输入脉冲。采用 40nm CMOS 工艺设计的神经形态硬件利用了脉冲稀疏性，并展示了高分类准确率（在 MNIST 上 >98%）和低能耗（48.4-773 nJ/image）。
引用
@article{arxiv.1709.06206,
title = {Algorithm and Hardware Design of Discrete-Time Spiking Neural Networks Based on Back Propagation with Binary Activations},
author = {Shihui Yin and Shreyas K. Venkataramanaiah and Gregory K. Chen and Ram Krishnamurthy and Yu Cao and Chaitali Chakrabarti and Jae-sun Seo},
journal= {arXiv preprint arXiv:1709.06206},
year = {2017}
}
备注
2017 IEEE Biomedical Circuits and Systems (BioCAS)