伪似然实现可泛化的非对称耦合关联记忆网络
统计力学
2026-03-31 v1 无序系统与神经网络
机器学习
摘要
通过最大化数据似然来学习的能量基准概率模型受限于配分函数的不可计算性。广泛使用的一种解决方法是最大化伪似然，其将全局归一化替换为可计算的局部归一化。在本文中，我们表明，在零温度极限下，最大化伪似然训练的网络自然实现关联记忆：若训练集较小，模式会成为固定点吸引子，其吸引域超过任何经典Hopfield规则的吸引域。我们对无关随机模式进行定量解释。此外，我们表明，对于来自计算机科学(随机特征模型、MNIST)、物理(无序磁 glass)和生物学(蛋白质)的不同结构数据集，随着训练样本数量增加，所学网络超越记忆，发展出具有与测试样本非平凡相关性的有意义的吸引子，从而显示出泛化能力。因此，我们的结果揭示了伪似然既是一种高效的推理工具，也是一种原则性的记忆与泛化机制。
关键词
引用
@article{arxiv.2507.05147,
title = {Pseudo-likelihood produces associative memories able to generalize, even for asymmetric couplings},
author = {Francesco D'Amico and Dario Bocchi and Luca Maria Del Bono and Saverio Rossi and Matteo Negri},
journal= {arXiv preprint arXiv:2507.05147},
year = {2026}
}