二值化脉冲神经网络中死亡神经元与稀疏性之间的细微界限
神经与进化计算
2022-01-31 v1 机器学习
神经元与认知
摘要
脉冲神经网络可以通过在时间域中编码信息，或通过在更高精度的隐藏状态中处理离散化量来补偿量化误差。理论上，宽动态范围状态空间使得多个二值化输入能够一起累积，从而提高单个神经元的表示能力。这可以通过提高发放阈值来实现，但阈值过高会使稀疏的脉冲活动变为无脉冲发放。在本文中，我们提出使用“阈值退火”作为发放阈值的预热方法。我们表明它能使脉冲在多个层中传播，否则神经元将停止发放，并且在此过程中，尽管使用二值化权重，在四个不同数据集上取得了极具竞争力的结果。源代码可在 https://github.com/jeshraghian/snn-tha/ 获取。
引用
@article{arxiv.2201.11915,
title = {The fine line between dead neurons and sparsity in binarized spiking neural networks},
author = {Jason K. Eshraghian and Wei D. Lu},
journal= {arXiv preprint arXiv:2201.11915},
year = {2022}
}