通过动态置信度释放脉冲神经网络的潜力
计算机视觉与模式识别
2023-11-29 v3 神经与进化计算
摘要
本文提出一种新方法，以缓解脉冲神经网络（SNNs）中准确率与延迟之间的根本权衡。该方法从 SNN 输出中随时间解码置信度信息，并利用其开发一个决策智能体，能够动态确定何时终止每次推理。所提方法“动态置信度”为 SNNs 带来了若干显著益处。1. 它能在运行时动态优化延迟，这使其区别于许多现有的低延迟 SNN 算法。我们在 CIFAR-10 和 ImageNet 数据集上的实验表明，应用动态置信度后，在八种不同设置下平均加速 40%。2. 动态置信度中的决策智能体构造简单且在参数空间中高度鲁棒，使其极易实现。3. 该方法能可视化任意给定 SNN 的潜力，为当前 SNNs 设定了逼近目标。例如，若 SNN 能在每个输入样本最合适的时间点终止，ResNet-50 SNN 可在平均仅 4.71 个时间步内于 ImageNet 上达到高达 82.47% 的准确率。释放 SNNs 的潜力需要构建高可靠的决策智能体，并输入高质量的真实值估计。在这方面，动态置信度是朝实现 SNNs 潜力迈出的有意义一步。
引用
@article{arxiv.2303.10276,
title = {Unleashing the Potential of Spiking Neural Networks by Dynamic Confidence},
author = {Chen Li and Edward Jones and Steve Furber},
journal= {arXiv preprint arXiv:2303.10276},
year = {2023}
}
备注
Accepted by ICCV2023