脉冲神经网络中的长短期记忆与学会学习
神经与进化计算
2018-12-27 v4 神经元与认知
摘要
脉冲神经网络循环网络（RSNNs）是大脑惊人计算与学习能力的基础。但至少与人工神经网络（ANNs）相比，RSNN 模型的计算和学习能力一直较差。我们探讨了造成这种情况的两个可能原因。一是大脑中的 RSNNs 并非随机连接或按简单规则设计的，它们也不是作为白板网络开始学习的。相反，大脑中的 RSNNs 通过进化、发育和先前的经验为其任务进行了优化。这些优化过程的细节在很大程度上是未知的。但它们的功能贡献可以通过强大的优化方法来近似，例如通过时间反向传播（BPTT）。大脑中的 RSNNs 与模型之间的第二个主要不匹配是，后者仅表现出大脑中神经元和突触动力学的一小部分。我们在 RSNN 模型中加入了能够重现生物神经元一个显著动力学过程的神经元，该过程发生在秒级行为相关的时间尺度上：神经元适应。由于这些网络具有长短期记忆，我们将其记为 LSNNs。如果通过深度学习（BPTT 与优化网络结构的重布线算法相结合）进行训练和配置，加入适应神经元会大幅提高 RSNNs 的计算和学习能力。事实上，这些 RSNNs 的计算性能首次接近了 LSTM 网络。此外，具有适应神经元的 RSNNs 可以在“学会学习”（L2L）方案中从先前的学习中获取抽象知识，并转移该知识以便从极少量的样本中学习新的相关任务。我们在监督学习和强化学习中展示了这一点。
引用
@article{arxiv.1803.09574,
title = {Long short-term memory and learning-to-learn in networks of spiking neurons},
author = {Guillaume Bellec and Darjan Salaj and Anand Subramoney and Robert Legenstein and Wolfgang Maass},
journal= {arXiv preprint arXiv:1803.09574},
year = {2018}
}
备注
First three authors contributed equally; Paper accepted at NIPS 2018