高容量核Hopfield网络的定量吸引子分析

基于核的学习方法，如核逻辑回归（KLR），可以显著提高Hopfield网络的存储容量，但支配其性能和稳定性的原理在很大程度上仍未得到表征。本文对KLR训练网络中的吸引子景观进行了全面的定量分析，为其设计和应用奠定了坚实基础。通过广泛的、经过统计验证的模拟，我们解决了通用性、可扩展性和鲁棒性等关键问题。我们的比较分析表明，在典型操作条件下，KLR和核岭回归（KRR）表现出相似的高存储容量和清晰的吸引子景观，这表明这种行为是核回归方法的普遍特性，尽管KRR在计算上要快得多。我们为核宽度$\gamma$确定了一个非平凡的、依赖于尺度的规律，证明最优容量要求$\gamma$按$\gamma N$随网络规模$N$增加的方式缩放。这一发现意味着更大的网络需要更局部的核，其中每个模式的影响在空间上更受限制，以减轻模式间的干扰。在这种优化的缩放条件下，我们提供了明确的证据，表明存储容量随网络规模线性缩放（$P \propto N$）。此外，我们的敏感性分析表明，性能对于正则化参数$\lambda$的选择具有显著的鲁棒性。总的来说，这些发现为设计高容量和鲁棒的联想记忆提供了一套简洁的经验原则，并阐明了使核方法能够克服Hopfield型模型经典局限性的机制。