Hoyer 正则化器即你所需要的一切：面向超低延迟脉冲神经网络
计算机视觉与模式识别
2022-12-21 v1
摘要
脉冲神经网络（SNN）已成为一种极具吸引力的时空计算范式，适用于广泛的低功耗视觉任务。然而，最先进的（SOTA）SNN 模型要么引入多个时间步从而阻碍其在实时用例中的部署，要么显著增加训练复杂度。为缓解此问题，我们提出了一个从头训练的、针对单时间步 SNN 的训练框架，该框架使用了最近提出的 Hoyer 正则化器的一个新变体。我们将每个 SNN 层的阈值估计为其激活图裁剪版本的 Hoyer 极值，其中裁剪阈值通过梯度下降结合我们的 Hoyer 正则化器进行训练。该方法不仅缩小了可训练阈值的数值，从而在有限迭代次数（由于仅一个时间步）下发出大量脉冲用于权重更新，还将膜电位值推离阈值，从而减轻可能降低 SNN 精度的噪声影响。我们的方法在复杂图像识别任务的精度-FLOPs 权衡上优于现有的脉冲、二值和加法神经网络。在目标检测上的下游实验也证明了我们方法的有效性。
引用
@article{arxiv.2212.10170,
title = {Hoyer regularizer is all you need for ultra low-latency spiking neural networks},
author = {Gourav Datta and Zeyu Liu and Peter A. Beerel},
journal= {arXiv preprint arXiv:2212.10170},
year = {2022}
}
备注
16 pages, 4 figures