常规人工神经网络到脉冲神经网络的最优转换
神经与进化计算
2021-03-02 v1 机器学习
摘要
脉冲神经网络（SNNs）是受生物学启发的人工神经网络（ANNs），由脉冲神经元组成以处理异步离散信号。尽管在神经形态硬件上功耗与推理速度更高效，但由于离散性，SNNs通常难以直接用脉冲从零训练。作为替代，许多研究致力于通过将ANNs的权重复制到SNNs并调整SNNs中神经元的脉冲阈值电位，将常规ANNs转换为SNNs。研究者已设计新的SNN架构与转换算法以减小转换误差。然而，有效的转换应解决SNN与ANN架构之间的差异，并对损失函数进行高效近似，而该领域尚缺此类方法。本工作中，我们通过递归归约为逐层求和来分析转换误差，并提出一种新颖的策略流程，通过结合阈值平衡与软重置机制将权重迁移到目标SNN。该流程在仅约典型SNN仿真时间的情况下，使转换后SNNs与常规ANNs之间几乎无精度损失。我们的方法有望植入到对SNNs支持更好但能量与内存受限的嵌入式平台。
引用
@article{arxiv.2103.00476,
title = {Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks},
author = {Shikuang Deng and Shi Gu},
journal= {arXiv preprint arXiv:2103.00476},
year = {2021}
}