利用相变存储器突触在线训练脉冲递归神经网络
神经与进化计算
2021-09-28 v2 新兴技术
摘要
脉冲递归神经网络（RNNs）因其丰富的时间动态和稀疏处理，是解决各种复杂认知和运动任务的有前景的工具。然而，在专用神经形态硬件上训练脉冲 RNNs 仍然是一个开放的挑战。这主要是由于缺乏局部的、硬件友好的学习机制，这些机制能够解决时间信用分配问题并确保稳定的网络动态，即使在权重分辨率有限的情况下也是如此。如果采用忆阻器进行存内计算以解决冯·诺依曼瓶颈问题，这些挑战会进一步加剧，代价是脉冲 RNNs 的计算和工作记忆的变异性显著增加。为应对这些挑战并实现忆阻神经形态 RNNs 的在线学习，我们基于一个精确且全面的相变存储器（PCM）器件模型，提出了一个差分架构交叉阵列的仿真框架。我们使用最近提出的 e-prop 学习规则，训练了一个权重在所提仿真框架中模拟的脉冲 RNN。尽管 e-prop 局部近似了理想的突触更新，但由于显著的 PCM 非理想特性，在忆阻基底上实现这些更新是困难的。我们比较了几种广泛采用的权重更新方案，这些方案主要旨在应对这些器件非理想特性，并证明累积梯度能够在忆阻基底上实现脉冲 RNN 的在线高效训练。
引用
@article{arxiv.2108.01804,
title = {Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses},
author = {Yigit Demirag and Charlotte Frenkel and Melika Payvand and Giacomo Indiveri},
journal= {arXiv preprint arXiv:2108.01804},
year = {2021}
}