基于脉冲表征微分的高性能低延迟脉冲神经网络训练
神经与进化计算
2023-03-31 v2 机器学习
摘要
脉冲神经网络（Spiking Neural Network, SNN）在神经形态硬件上实现时是一种有前景的节能 AI 模型。然而，由于其不可微性，高效训练 SNN 是一项挑战。大多数现有方法要么遭受高延迟（即长仿真时间步），要么无法达到与人工神经网络（Artificial Neural Networks, ANNs）一样高的性能。在本文中，我们提出了脉冲表征微分（Differentiation on Spike Representation, DSR）方法，该方法能够以低延迟实现与 ANN 相竞争的高性能。首先，我们使用（加权）发放率编码将脉冲序列编码为脉冲表征。基于脉冲表征，我们系统地推导出具有常见神经元模型的脉冲动力学可表示为某些次可微映射。从这一视角出发，我们提出的 DSR 方法通过该映射的梯度训练 SNN，并避免了 SNN 训练中常见的不可微问题。然后我们分析了用 SNN 前向计算表示特定映射时的误差。为减小此类误差，我们提出训练每层的脉冲阈值，并为神经元模型引入一个新的超参数。借助这些组件，DSR 方法在静态和神经形态数据集（包括 CIFAR-10、CIFAR-100、ImageNet 和 DVS-CIFAR10）上均以低延迟实现了最先进的 SNN 性能。
引用
@article{arxiv.2205.00459,
title = {Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation},
author = {Qingyan Meng and Mingqing Xiao and Shen Yan and Yisen Wang and Zhouchen Lin and Zhi-Quan Luo},
journal= {arXiv preprint arXiv:2205.00459},
year = {2023}
}
备注
Accepted by CVPR 2022