H2Learn：面向高精度脉冲神经网络的高效学习加速器
神经与进化计算
2021-07-27 v1
摘要
尽管脉冲神经网络（SNNs）受益于生物合理的神经建模，但在常见的局部突触可塑性学习规则下，其较低的精度限制了其在许多实际任务中的应用。近来，一种受人工神经网络（ANNs）领域中基于时间的反向传播（BPTT）启发的新兴SNN监督学习算法，成功提升了SNN的精度，并有助于提高其实用性。然而，由于面向ANN的优化，当前通用处理器在执行SNN的BPTT时效率低下。另一方面，当前的神经形态芯片无法支持BPTT，因为它们主要采用局部突触可塑性规则以简化实现。在这项工作中，我们提出了H2Learn，这是一种新颖的架构，能够为基于BPTT的SNN学习实现高效率，从而确保SNN的高精度。首先，我们刻画了基于BPTT的SNN学习的行为特征。受益于前向传播和权重更新中基于二值脉冲的计算，我们首先在前向引擎和权重更新引擎中设计了基于查找表（LUT）的处理单元，以使累加操作隐式化并融合多个输入点的计算。其次，受益于反向传播中丰富的稀疏性，我们设计了一个双稀疏感知的反向引擎，该引擎同时利用了输入和输出稀疏性。最后，我们在不同引擎之间应用了流水线优化，为基于BPTT的SNN学习构建了一个端到端解决方案。与最新的NVIDIA V100 GPU相比，H2Learn在多个基准数据集上实现了7.38倍的面积节省、5.74-10.20倍的加速以及5.25-7.12倍的能耗节省。
引用
@article{arxiv.2107.11746,
title = {H2Learn: High-Efficiency Learning Accelerator for High-Accuracy Spiking Neural Networks},
author = {Ling Liang and Zheng Qu and Zhaodong Chen and Fengbin Tu and Yujie Wu and Lei Deng and Guoqi Li and Peng Li and Yuan Xie},
journal= {arXiv preprint arXiv:2107.11746},
year = {2021}
}