脉冲神经网络的 Hessian 感知量化
神经与进化计算
2021-08-25 v2
摘要
为获得脉冲神经网络（SNNs）的低延迟、高吞吐与高能效优势，在神经形态硬件上运行时降低内存与计算需求是重要一步。神经形态架构允许以可变且局部的位精度进行大规模并行计算。然而，应如何将不同位精度分配给网络的不同层或连接并非易事。本工作中，我们展示了层-wise Hessian 迹分析如何度量损失对该层权重任意扰动的敏感度，并可用于在量化 SNN 时指导分配层特定的位精度。此外，当前基于梯度的 SNN 训练方法使用具有多个状态变量的复杂神经元模型，这不利于计算与内存效率。为应对该挑战，我们提出了一种简化神经元模型，将状态变量数量减少 4 倍，同时仍与基于梯度的训练兼容。我们发现，使用层特定位精度对模型精度的影响与该层的 Hessian 迹高度相关。最优量化网络的精度仅下降 0.2%，而网络规模缩减了 58%。这降低了内存占用，并允许使用更简单的数字电路进行定点算术运算，从而提升整体吞吐与能效。
引用
@article{arxiv.2104.14117,
title = {Hessian Aware Quantization of Spiking Neural Networks},
author = {Hin Wai Lui and Emre Neftci},
journal= {arXiv preprint arXiv:2104.14117},
year = {2021}
}