少量能量亦能行远：从卷积神经网络构建高能效高精度脉冲神经网络
计算机视觉与模式识别
2022-05-27 v3
摘要
脉冲神经网络（SNNs）天然具备处理时空数据（亦即真实世界感知数据）的能力，但难以训练出高精度的模型。SNN研究的一条主要路线是将预训练好的卷积神经网络（CNN）转换为结构相同的SNN。当前最先进的转换方法正逼近精度极限，即SNN相对于原始CNN的近零精度损失。然而，我们注意到这只有在消耗显著更多能量来处理一个输入时才得以实现。本文主张这种“以能量换精度”的趋势并非必要——少量能量亦能行远，实现近零精度损失。具体而言，我们提出一种新颖的CNN到SNN转换方法，能够使用合理短的神经脉冲序列（例如对CIFAR10图像使用256个时间步）来实现近零精度损失。这一名为显式电流控制（ECC）的新转换方法包含三项技术（电流归一化、残差消除阈值化，以及批归一化一致性保持），以在处理输入时显式控制流经SNN的电流。我们将ECC实现为一个名为SpKeras的工具，可便捷地导入Keras CNN模型并将其转换为SNNs。我们利用该工具开展了一系列广泛实验——基于VGG16及CIFAR10、CIFAR100等多种数据集——并与最先进的转换方法进行比较。结果表明，ECC是一种有望同时优化能耗与精度损失的方法。
引用
@article{arxiv.2103.00944,
title = {A Little Energy Goes a Long Way: Build an Energy-Efficient, Accurate Spiking Neural Network from Convolutional Neural Network},
author = {Dengyu Wu and Xinping Yi and Xiaowei Huang},
journal= {arXiv preprint arXiv:2103.00944},
year = {2022}
}