具有内在参数与突触权重联合训练跳跃连接自循环脉冲神经网络
神经与进化计算
2020-10-27 v1 机器学习
摘要
作为脉冲神经网络（SNNs）的重要一类，循环脉冲神经网络（RSNNs）具有强大的计算能力，已广泛用于音频和文本等序列数据处理。然而，大多数RSNNs存在两个问题。1. 由于缺乏架构指导，常采用随机循环连接，无法保证良好性能。2. RSNNs的训练通常具有挑战性，制约了可实现的模型精度。为解决这些问题，我们提出一种称为跳跃连接自循环SNNs（ScSr-SNNs）的新型RSNNs。ScSr-SNNs中的循环以刻板方式引入，通过向脉冲神经元添加自循环连接实现局部记忆。网络动态通过非相邻层之间的跳跃连接得以丰富。由简化的自循环和跳跃连接构建的ScSr-SNNs能够实现类似于更复杂RSNNs的循环行为，同时由于网络基本的前馈性质，误差梯度可更直接计算。此外，我们提出一种称为反向传播内在可塑性（BIP）的新反向传播（BP）方法，通过训练内在模型参数进一步提升ScSr-SNNs性能。与根据神经元活动调整神经元内在参数的标准内在可塑性规则不同，所提BIP方法除突触权重训练外，还基于明确定义的全局损失函数的反向传播误差梯度优化内在参数。基于TI46-Alpha、TI46-Digits和N-TIDIGITS等具有挑战性的语音与神经形态语音数据集，所提ScSr-SNNs相比其他由最先进BP方法训练的RSNNs性能提升高达2.55%。
引用
@article{arxiv.2010.12691,
title = {Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training},
author = {Wenrui Zhang and Peng Li},
journal= {arXiv preprint arXiv:2010.12691},
year = {2020}
}
备注
9 pages, 3 figures