Hebbian-Hopfield 网络关联记忆的容量

在 \cite{Hop82} 中，Hopfield 引入了一种基于 Hebbian 学习规则的神经网络模型，并指出其可以有效地作为关联记忆。他还通过研究随机二进制模式，发现如果容忍存储模式检索中的一小部分错误，网络的容量（最大记忆模式数，$m$）会随着每个模式的大小 $n$ 成线性比例增长。此外，他著名地预测 $\alpha_c=\lim_{n\rightarrow\infty}\frac{m}{n}\approx 0.14$。我们研究相同的情景，涉及两种著名的模式吸引盆地：\textbf{\emph{(i)}} 来自 \cite{AmiGutSom85} 的 AGS 模式；\textbf{\emph{(ii)}} 来自 \cite{Newman88,Louk94,Louk94a,Louk97,Tal98} 的 NLT 模式。依据 \cite{Stojnicflrdt23} 提出的完全提升随机对偶理论（fl RDT），我们获得以下在提升第一层上的显式容量特征：\begin{equation} \alpha_c^{(AGS,1)} = \left ( \max_{\delta\in \left ( 0,\frac{1}{2}\right ) }\frac{1-2\delta}{\sqrt{2} \mbox{erfinv} \left ( 1-2\delta\right )} - \frac{2}{\sqrt{2\pi}} e^{-\left ( \mbox{erfinv}\left ( 1-2\delta \right )\right )^2}\right )^2 \approx \mathbf{0.137906} \end{equation} \begin{equation} \alpha_c^{(NLT,1)} = \frac{\mbox{erf}(x)^2}{2x^2}-1+\mbox{erf}(x)^2 \approx \mathbf{0.129490}, \quad 1-\mbox{erf}(x)^2- \frac{2\mbox{erf}(x)e^{-x^2}}{\sqrt{\pi}x}+\frac{2e^{-2x^2}}{\pi}=0. \end{equation} 大量数值工作给出第二层提升的结果 $\alpha_c^{(AGS,2)} \approx \mathbf{0.138186}$ 和 $\alpha_c^{(NLT,2)} \approx \mathbf{0.12979}$，有效揭示了 remarkably 快的提升收敛。此外，获得的 AGS 特征正好匹配 \cite{AmiGutSom85} 的复制对称性基于方法以及相应对称性破缺方法 \cite{SteKuh94}。