通过参数校准将人工神经网络转换为脉冲神经网络
神经与进化计算
2022-05-23 v1 机器学习
摘要
脉冲神经网络（SNN）源于生物学中的神经行为，已被认为是下一代神经网络之一。传统上，SNN可通过将预训练人工神经网络（ANN）中的非线性激活替换为脉冲神经元而得到，且无需改变参数。本工作中，我们认为简单地将ANN的权重复制粘贴到SNN中不可避免地会导致激活失配，尤其对于使用批归一化（BN）层训练的ANN。为解决激活失配问题，我们首先通过将局部转换误差分解为截断误差与舍入误差给出理论分析，并利用二阶分析定量度量该误差在各层间的传播。受理论结果启发，我们提出一组逐层参数校准算法，用于调整参数以最小化激活失配。我们在现代架构与大规模任务（包括ImageNet分类与MS COCO检测）上对所提算法进行了充分实验。我们证明，我们的方法能够处理带BN层的SNN转换，并即使在32时间步下也能有效保持高准确率。例如，在转换带BN层的VGG-16时，我们的校准算法可将准确率提升高达65%。
引用
@article{arxiv.2205.10121,
title = {Converting Artificial Neural Networks to Spiking Neural Networks via Parameter Calibration},
author = {Yuhang Li and Shikuang Deng and Xin Dong and Shi Gu},
journal= {arXiv preprint arXiv:2205.10121},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2106.06984