深度神经网络能否转换为超低延迟脉冲神经网络？
计算机视觉与模式识别
2021-12-23 v1
摘要
脉冲神经网络（SNNs）通过随时间分布的二值脉冲运作，已成为资源受限设备上一种有前景的节能机器学习范式。然而，当前最先进（SOTA）的 SNN 需要多个时间步以获得可接受的推理精度，这增加了脉冲活动并进而增加能耗。SNN 的 SOTA 训练策略涉及从非脉冲深度神经网络（DNN）转换。本文中，我们确定 SOTA 转换策略无法产生超低延迟，因为它们错误地假设 DNN 与 SNN 预激活值均匀分布。我们提出一种新的训练算法，准确捕捉这些分布，最小化 DNN 与转换后 SNN 间的误差。所得 SNN 具有超低延迟与高激活稀疏性，带来计算效率的显著提升。特别地，我们在 CIFAR-10 与 CIFAR-100 数据集上的多个 VGG 与 ResNet 架构上评估我们的框架。我们在 CIFAR-100 数据集上以仅 2 个时间步取得 64.19% 的 top-1 精度，相较同架构标准 DNN 计算能耗降低约 159.2 倍。相较于其他 SOTA SNN 模型，我们的模型推理快 2.5-8 倍（即时间步更少）。
引用
@article{arxiv.2112.12133,
title = {Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks?},
author = {Gourav Datta and Peter A. Beerel},
journal= {arXiv preprint arXiv:2112.12133},
year = {2021}
}
备注
Accepted to DATE 2022