递归神经网络对随机发放序列的在线记忆

本文研究一种递归神经网络模型通过简单局部学习规则记忆随机动力学发放模式的能力。考虑两种学习/记忆模式：第一种模式是严格在线的，对数据单次遍历；第二种模式对数据多次遍历。两种模式中学习均为严格局部的（准赫布式）：在任何给定时间步，仅修改在前一时间步发放（或应发放）的神经元与在当前时间步发放（或应发放）的神经元之间的权重。本文的主要结果是对单次遍历记忆不完美的概率的上界。由此可知，该模式下的记忆容量渐近地如同经典Hopfield模型（其相反地记忆静态模式）那样缩放。然而，多轮记忆被证明可实现更高容量（每连接/突触有非零比特数）。这些数学发现可能有助于理解神经科学中短期记忆与长期记忆的功能。