具有精度损失估计器的超低延迟自适应局部二值脉冲神经网络
神经与进化计算
2022-08-02 v1
摘要
脉冲神经网络（SNN）是一种受脑启发的模型，具有更强的时空信息处理能力与计算能效。然而，随着 SNN 深度增加，由 SNN 权重引起的内存问题逐渐受到关注。受人工神经网络（ANN）量化技术启发，二值化 SNN（BSNN）被引入以解决内存问题。由于缺乏合适的学习算法，BSNN 通常通过 ANN 到 SNN 转换获得，其精度受限于训练好的 ANN。本文中，我们提出了一种具有精度损失估计器的超低延迟自适应局部二值脉冲神经网络（ALBSNN），其通过评估网络学习过程中二值化权重引起的误差，动态选择待二值化的网络层以保证网络精度。实验结果表明，该方法可在不损失网络精度的情况下将存储空间减少 20% 以上。同时，为加速网络训练速度，引入全局平均池化（GAP）层，通过卷积与池化组合替代全连接层，使 SNN 能够利用少量时间步获得更好的识别精度。在使用仅一个时间步的极端情况下，我们在 FashionMNIST、CIFAR-10 和 CIFAR-100 三个不同数据集上仍分别取得了 92.92 %、91.63 % 和 63.54 % 的测试精度。
引用
@article{arxiv.2208.00398,
title = {Ultra-low Latency Adaptive Local Binary Spiking Neural Network with Accuracy Loss Estimator},
author = {Changqing Xu and Yijian Pei and Zili Wu and Yi Liu and Yintang Yang},
journal= {arXiv preprint arXiv:2208.00398},
year = {2022}
}