ReStoCNet:用于内存高效神经形态计算的残差随机二值卷积脉冲神经网络
计算机视觉与模式识别
2019-02-13 v1
摘要
在这项工作中,我们提出 ReStoCNet,一种由二值核构成的残差随机多层卷积脉冲神经网络(SNN),以减小突触内存占用并提升 SNN 在复杂模式识别任务中的计算效率。ReStoCNet 由输入层、用于分层输入特征提取的堆叠卷积层、用于降维的池化层以及用于推理的全连接层组成。此外,我们在堆叠卷积层之间引入残差连接,以改善深度 SNN 的分层特征学习能力。我们提出基于脉冲时序依赖可塑性(STDP)的概率学习算法,称为 Hybrid-STDP(HB-STDP),结合 Hebbian 与反 Hebbian 学习机制,以逐层无监督方式训练构成 ReStoCNet 的二值核。我们在 MNIST 和 CIFAR-10 数据集上展示了 ReStoCNet 及所提基于 HB-STDP 的无监督训练方法的有效性。我们表明残差连接使较深层卷积层能够自学有用的高级输入特征,并缓解在无残差连接的深度 SNN 中观察到的精度损失。所提 ReStoCNet 相比全精度(32 位)SNN 提供 >20 倍的核内存压缩,同时在所选模式识别任务上产生足够高的分类精度。
引用
@article{arxiv.1902.04161,
title = {ReStoCNet: Residual Stochastic Binary Convolutional Spiking Neural Network for Memory-Efficient Neuromorphic Computing},
author = {Gopalakrishnan Srinivasan and Kaushik Roy},
journal= {arXiv preprint arXiv:1902.04161},
year = {2019}
}
备注
27 pages, 11 figures, and 6 tables