DIET-SNN：深度脉冲神经网络中带泄漏与阈值优化的直接输入编码
神经与进化计算
2020-12-03 v3 机器学习
机器学习
摘要
受生物启发的脉冲神经网络（SNNs）以随时间分布的异步二值信号（或脉冲）运作，有望在事件驱动硬件上带来更高的计算效率。最先进的SNN存在推理延迟高的问题，其源于低效的输入编码以及神经元参数（发放阈值与膜泄漏）的次优设置。我们提出DIET-SNN，一种低延迟深度脉冲网络，通过梯度下降训练以优化膜泄漏与发放阈值及其他网络参数（权重）。SNN每一层的膜泄漏与阈值通过端到端反向传播优化，以在降低延迟的同时达到有竞争力的准确率。图像的模拟像素值直接施加于DIET-SNN的输入层，无需转换为脉冲序列。第一个卷积层被训练为将输入转换为脉冲，其中泄漏积分发放（LIF）神经元整合加权输入，并在膜电位越过训练所得发放阈值时产生输出脉冲。训练所得的膜泄漏控制输入信息的流动并衰减无关输入，以增加网络卷积层与全连接层的激活稀疏性。降低的延迟结合高激活稀疏性带来了计算效率的大幅提升。我们在CIFAR与ImageNet数据集上的VGG与ResNet架构的图像分类任务上评估DIET-SNN。我们在ImageNet数据集上以5个时间步（推理延迟）取得了69%的top-1准确率，计算能量比等效标准ANN少12倍。此外，DIET-SNN比其他最先进SNN模型的推理快20-500倍。
引用
@article{arxiv.2008.03658,
title = {DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization in Deep Spiking Neural Networks},
author = {Nitin Rathi and Kaushik Roy},
journal= {arXiv preprint arXiv:2008.03658},
year = {2020}
}