从记忆到泛化：扩散模型从联想记忆中的涌现
机器学习
2026-03-18 v3 无序系统与神经网络
计算机视觉与模式识别
神经元与认知
机器学习
摘要
稠密联想记忆（DenseAMs）是 Hopfield 网络的推广，具有优越的信息存储容量，并能将训练数据点（记忆）存储在能量景观的局部极小值处。当训练数据量超过这些模型的临界存储容量时，不同于训练数据的新的局部极小值会出现。在联想记忆中，这些涌现的局部极小值被称为（），它们会阻碍记忆检索。在本工作中，我们通过 DenseAM 的视角来审视扩散模型（DMs），将其生成过程视为一种记忆检索的尝试。在小数据规模下，DMs 为每个训练样本创建不同的吸引子，类似于低于临界存储容量的 DenseAMs。随着训练数据规模的增加，它们从记忆过渡到泛化。我们识别出了一个由 DenseAM 理论预测的临界中间相——伪态。在生成建模中，这些状态不再是负面的伪影，而是生成能力的初步迹象。我们刻画了这些先前被忽视的态的吸引域、能量景观曲率和计算性质。它们的存在在广泛的架构和数据集中得到了证明。
引用
@article{arxiv.2505.21777,
title = {Memorization to Generalization: Emergence of Diffusion Models from Associative Memory},
author = {Bao Pham and Gabriel Raya and Matteo Negri and Mohammed J. Zaki and Luca Ambrogioni and Dmitry Krotov},
journal= {arXiv preprint arXiv:2505.21777},
year = {2026}
}