Hopfield 网络中的混合记忆

我们考虑具有激活函数 $F$ 和状态空间 $\{-1,1\}^N$ 的 Hopfield 关联记忆模型, 其中立方的每个顶点描述 $N$ 个二值神经元的配置。 $M$ 个随机选择的配置称为模式, 通过设计能量函数使其成为局部极小值来存储。若满足该条件, 这取决于 $M$ 如何随 $N$ 扩展, 则可以使用降低能量的动力学来检索它们。然而, 将模式存储在能量函数中也会创建意外的局部极小值, 从而产生错误记忆。尽管自最早的工作以来人们就知道这一点, 但仅限于数值仿真和非严谨的计算, 除了基本情况之外, 没有得到充分支持。我们的结果有两个方面。对于通用函数 $F$, 我们显式构造一组配置称为混合记忆, 其属性旨在表征能量函数的局部极小值。对于三个突出模型, 即经典的、密集的和现代的 Hopfield 模型, 分别对应于二次、多项式和指数函数 $F$, 我们给出 $M$ 增长率的条件, 保证当 $N$ 发散时, 混合记忆是检索动力学的固定点, 因此是能量的精确极小值。我们推测在该 regime 中, 所有局部极小值都是混合记忆。