从 ReLU 网络到脉冲神经网络的精确映射
神经与进化计算
2022-12-26 v1 机器学习
摘要
深度脉冲神经网络（SNNs）为低功耗人工智能提供了可能。然而，从头训练深度 SNNs 或将深度人工神经网络转换为 SNNs 而不损失性能一直是一项挑战。在此，我们提出了一种从带修正线性单元（ReLUs）的网络到每个神经元恰好发放一次脉冲的 SNN 的精确映射。对于我们的构造性证明，我们假设一个任意的多层 ReLU 网络（无论是否含有卷积层、批归一化层和最大池化层）已在某个训练集上训练至高性能。此外，我们假设能够获得训练期间所用输入数据的一个代表性样本，以及训练好的 ReLU 网络的精确参数（权重和偏置）。从深度 ReLU 网络到 SNNs 的映射在 CIFAR10、CIFAR100 以及类 ImageNet 数据集 Places365 和 PASS 上造成了零百分比的准确率下降。更一般地，我们的工作表明，任意深度 ReLU 网络都可以被一个节能的单脉冲神经网络所替代，且没有任何性能损失。
引用
@article{arxiv.2212.12522,
title = {An Exact Mapping From ReLU Networks to Spiking Neural Networks},
author = {Ana Stanojevic and Stanisław Woźniak and Guillaume Bellec and Giovanni Cherubini and Angeliki Pantazi and Wulfram Gerstner},
journal= {arXiv preprint arXiv:2212.12522},
year = {2022}
}