MSAT：受生物启发用于脉冲神经网络转换的多阶段自适应阈值
神经与进化计算
2023-03-24 v1 机器学习
摘要
脉冲神经网络（SNNs）因其脉冲稀疏性能够以低功耗进行推理。ANN-SNN转换是一种通过将训练好的人工神经网络（ANNs）进行转换来实现深度SNNs的高效方法。然而，现有方法通常使用恒定阈值进行转换，这阻碍了神经元向更深层快速发放脉冲并导致高时延。此外，对不同输入相同的响应可能导致信息传输过程中的信息丢失。受生物模型机制启发，我们提出了一种多阶段自适应阈值（MSAT）。具体而言，对于每个神经元，动态阈值随发放历史和输入特性变化，并与平均膜电位正相关、与去极化速率负相关。对膜电位和输入的自适应使得阈值能够及时调整以更快发放脉冲并传输更多信息。此外，我们分析了在早期时间步中普遍存在的失活神经元脉冲误差，并相应提出脉冲置信度作为对已正确发放脉冲神经元置信度的度量。我们在早期时间步中使用该脉冲置信度来决定是否引发脉冲以缓解此误差。结合所提方法，我们在非平凡数据集CIFAR-10、CIFAR-100和ImageNet上检验了性能。我们还分别在IDBM和Google speech commands数据集上进行了情感分类和语音识别实验。实验显示了近乎无损且更低时延的ANN-SNN转换。据我们所知，这是首次为转换型SNN构建受生物启发的多阶段自适应阈值，在取得与最先进方法相当性能的同时提升了能效。
引用
@article{arxiv.2303.13080,
title = {MSAT: Biologically Inspired Multi-Stage Adaptive Threshold for Conversion of Spiking Neural Networks},
author = {Xiang He and Yang Li and Dongcheng Zhao and Qingqun Kong and Yi Zeng},
journal= {arXiv preprint arXiv:2303.13080},
year = {2023}
}