具有超高信息容量的吸引子神经网络架构：数值结果

吸引子神经网络是建模海马体和皮层中记忆功能的重要理论场景。在这些模型中，记忆以“吸引子状态”的形式存储在神经群体的可塑性循环连接中。具有无约束连接的常规抽象吸引子网络的最大信息容量为 2 bits/synapse。然而，在无噪声理论场景下，无约束突触能够存储无限量的比特：这是常规吸引子网络无法达到的容量。在此，我提出一种能够实现超高信息容量的分层吸引子网络。该网络有两层：具有 $N_v$ 个神经元的可见层，和具有 $N_h$ 个神经元的隐藏层。可见到隐藏的连接被随机设置并在训练阶段保持固定，在此期间记忆模式被存储为网络动态的定点。隐藏到可见的连接初始为正态分布，通过称为三阈值学习规则（Three-Threshold Learning Rule）的局部在线学习规则进行学习，并且不存在层内连接。模拟结果表明，最大信息容量随扩展比 $N_h/N_v$ 呈指数增长。作为理解提供高容量的机制的一阶近似，我模拟了该网络的朴素平均场近似（naive mean-field approximation, nMFA）。nMFA捕捉到了指数增长，揭示了一个关键潜在因素是隐藏单元与可见单元之间的相关性。此外，观察到在最大容量时，隐藏与可见神经元之间连接的对称程度随扩展比增加。这些结果突出了分层架构在显著提高吸引子网络信息存储性能中的作用。