基于离群间隔调制的突触调制提升脉冲神经网络能源效率
神经与进化计算
2024-08-07 v1 机器学习
摘要
尽管脉冲神经网络（SNN）与人工神经网络（ANN）在基本原理上存在差异，但目前大多数关于SNN的研究都涉及将基于ANN的方法应用于SNN。剪枝（删除连接）和量化（降低精度）常被用于提高SNN的能源效率。这些方法对能源需求由突触传输信号决定的ANN非常有效，但SNN的事件驱动范式意味着能源消耗来自脉冲。在本文中，我们提出了一种新的突触模型，其权重由离群间隔（ISI）即两个脉冲之间时间差调制。由此构成的SNN称为ISI调制SNN（IMSNN），可以利用梯度下降法估算在更新突触参数后，神经元的ISI如何变化。更高的ISI意味着更少的脉冲，反之亦然。IMSNN的学习算法利用这一信息，选择性地传播梯度，以通过增加ISI来实现学习，从而生成更少脉冲的网络。我们在密集层和卷积层上评估了IMSNN的性能，以MNIST和FashionMNIST数据集中的分类准确率和脉冲数量为指标。与传统SNN的性能对比显示，IMSNN在保持类似分类准确率的同时，脉冲数量可减少最高达90%。
引用
@article{arxiv.2408.02961,
title = {Synaptic Modulation using Interspike Intervals Increases Energy Efficiency of Spiking Neural Networks},
author = {Dylan Adams and Magda Zajaczkowska and Ashiq Anjum and Andrea Soltoggio and Shirin Dora},
journal= {arXiv preprint arXiv:2408.02961},
year = {2024}
}
备注
9 pages, 3 figures