重新审视批归一化以从头训练低延迟深度脉冲神经网络
计算机视觉与模式识别
2021-11-12 v5 人工智能
神经与进化计算
摘要
脉冲神经网络(SNNs)近年来作为一种深度学习的替代方案而出现,其稀疏、异步和二值事件(或脉冲)驱动的处理,可在神经形态硬件上带来巨大的能效优势。然而,从头训练高精度和低延迟的 SNN 面临脉冲神经元不可微的本质问题。为解决 SNN 中的这一训练问题,我们重新审视批归一化并提出一种时间上的批归一化贯穿时间(BNTT)技术。此前大多数 SNN 工作认为批归一化对训练时序 SNN 无效而忽视了它。与以往工作不同,我们提出的 BNTT 沿时间轴解耦 BNTT 层中的参数以捕捉脉冲的时序动态。BNTT 中随时间演化的可学习参数使神经元能在不同时间步控制其脉冲率,从而实现从头开始的低延迟和低能耗训练。我们在 CIFAR-10、CIFAR-100、Tiny-ImageNet 和事件驱动的 DVS-CIFAR10 数据集上开展实验。BNTT 使我们首次能在仅 25-30 个时间步的复杂数据集上从头训练深度 SNN 架构。我们还提出一种利用 BNTT 中参数分布的提前退出算法,以降低推理时的延迟,进一步改善能效。
引用
@article{arxiv.2010.01729,
title = {Revisiting Batch Normalization for Training Low-latency Deep Spiking Neural Networks from Scratch},
author = {Youngeun Kim and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2010.01729},
year = {2021}
}
备注
Accepted to Frontiers in Neuroscience (2021)