人工神经网络模型到低延迟率编码脉冲神经网络的转换
神经与进化计算
2022-11-16 v1 机器学习
摘要
脉冲神经网络（SNN）非常适合资源受限的应用，因为它们不需要昂贵的乘法器。在典型的率编码 SNN 中，全局固定时间窗口内的一系列二值脉冲用于触发神经元。该时间窗口中的最大脉冲数也是网络执行单次推理的延迟，并决定了模型的整体能效。本文的目标是在将 ANN 转换为等效 SNN 时降低该延迟同时保持精度。最先进的转换方案仅在较大窗口尺寸下才能产生与 ANN 精度相当的 SNN。在本文中，我们首先理解从已有 ANN 模型转换到标准率编码 SNN 模型时的信息损失。基于这些见解，我们提出了一套新技术，共同减轻转换中丢失的信息，并以极低延迟实现了最先进的 SNN 精度。我们的方法在 MNIST 数据集上以 1 个时间步达到 98.73% 的 Top-1 SNN 精度，在 CIFAR-100 数据集上以 8 个时间步达到 76.38%，在 CIFAR-10 数据集上以 8 个时间步达到 93.71%。在 ImageNet 上，以 100/200 个时间步实现了 75.35%/79.16% 的 SNN 精度。
引用
@article{arxiv.2211.08410,
title = {Low Latency Conversion of Artificial Neural Network Models to Rate-encoded Spiking Neural Networks},
author = {Zhanglu Yan and Jun Zhou and Weng-Fai Wong},
journal= {arXiv preprint arXiv:2211.08410},
year = {2022}
}