量化脉冲神经网络中的局部极小导航
机器学习
2022-02-16 v1 神经与进化计算
摘要
脉冲与量化神经网络（NNs）对于深度学习（DL）算法的超高效实现正变得极其重要。然而，由于硬阈值下梯度信号缺失，这些网络在采用误差反向传播训练时面临挑战。克服此问题的广泛接受技巧是使用有偏梯度估计器：用于近似脉冲神经网络（SNNs）中阈值的替代梯度，以及完全绕过量化神经网络（QNNs）中阈值的直通估计器（STEs）。尽管带噪声的梯度反馈已在简单监督学习任务上实现合理性能，但认为此类噪声增加了在损失地形中寻找最优点的难度，尤其在优化后期。通过在训练中周期性提升学习率（LR），我们期望网络能够探索原本因局部极小、屏障或平坦面而难以触及的未探索解空间。本文系统评估了余弦退火 LR 调度与权重无关自适应矩估计相结合应用于量化 SNNs（QSNNs）的效果。我们在三个数据集上对高精度及 4-bit 量化 SNNs 进行了该技术的严格实证评估，在较复杂数据集上展示了（接近）最先进的性能。我们的源代码见此链接：https://github.com/jeshraghian/QSNNs。
引用
@article{arxiv.2202.07221,
title = {Navigating Local Minima in Quantized Spiking Neural Networks},
author = {Jason K. Eshraghian and Corey Lammie and Mostafa Rahimi Azghadi and Wei D. Lu},
journal= {arXiv preprint arXiv:2202.07221},
year = {2022}
}