通过蒸馏与正则化降低活动量：面向能源高效脉冲神经网络
计算机视觉与模式识别
2024-06-27 v1 图像与视频处理
摘要
脉冲神经网络（SNN）的兴趣正在稳步增长，作为正式神经网络（FNN）——即人工神经网络（ANN）——的能源高效替代方案而备受关注。尽管兴趣日益增长，尤其是针对 Edge 应用，但这些事件驱动神经网络因难以训练而受到限制。为缓解这一问题，已开发出多种创新方法，以提供大致相当于 FNN 的性能。然而，推断期间网络的脉冲活动通常未被考虑。尽管 SNN 在性能上可能与 FNN 相当，但往往以增加网络活动量为代价，从而限制了其作为更能源高效解决方案的优势。本文提出利用知识蒸馏（KD）进行 SNN 训练，以代理梯度下降优化性能与脉冲活动之间的权衡。随后，我们阐述了 KD 导致稀疏性增加的原因，并探索了激活正则化，提出一种新型的 Logits 正则化方法。这些方法在多个数据集上得到验证，显著降低了网络的脉冲活动量（GSC 上降低 26.73%，CIFAR-10 上降低 14.32%），同时保持了准确率。
关键词
引用
@article{arxiv.2406.18350,
title = {On Reducing Activity with Distillation and Regularization for Energy Efficient Spiking Neural Networks},
author = {Thomas Louis and Benoit Miramond and Alain Pegatoquet and Adrien Girard},
journal= {arXiv preprint arXiv:2406.18350},
year = {2024}
}