白日梦 Hopfield 网络及其在相关数据上的惊人有效性
无序系统与神经网络
2025-06-03 v1
摘要
为了提高 Hopfield 模型的存储容量，我们开发了一种 dreaming 算法的版本，它不断强化要存储的模式（如 Hebb 规则），并擦除虚假记忆（如 dreaming 算法）。出于这个原因，我们称之为 Daydreaming。Daydreaming 是非破坏性的，并且渐近收敛到平稳的检索映射。当在随机不相关样本上训练时，该模型在已存储样本的吸引域大小和重建质量方面表现出最佳性能。我们还在通过 random-features 模型获得的相关数据上训练了 Daydreaming 算法，并指出它会自发地利用这些相关性，从而进一步提高存储容量和吸引域的大小。此外，Daydreaming 算法还能够稳定隐藏在数据中的特征。最后，我们在 MNIST 数据集上测试了 Daydreaming，结果表明它仍然效果惊人，产生了接近未见样本和类原型的吸引子。
引用
@article{arxiv.2405.08777,
title = {Daydreaming Hopfield Networks and their surprising effectiveness on correlated data},
author = {Ludovica Serricchio and Dario Bocchi and Claudio Chilin and Raffaele Marino and Matteo Negri and Chiara Cammarota and Federico Ricci-Tersenghi},
journal= {arXiv preprint arXiv:2405.08777},
year = {2025}
}