现代 Hopfield 网络中的持续学习及其在扩散模型中的应用
机器学习
2026-05-29 v2 机器学习
摘要
生成模型，包括扩散模型，正越来越多地被用作基础模型并通过顺序微调进行适应，使得持续学习成为一个必然的问题设置。然而，此类生成模型的持续学习仍不受充分理解：在任务更改之后，哪些已学习分布的方面最容易丢失，应该优先选择哪些回放样本？我们通过现代 Hopfield 能量来回答这些问题。最近将现代 Hopfield 网络（MHNs）与扩散模型联系起来，使得可以将 MHN 中的分析转移到扩散模型中。我们引入内在遗忘作为任务更改后 Hopfield 能量的增加。在 MHN 中的可解析情形中，我们证明了高能量、异常值样本在能量增加方面大于类簇样本，这意味着位于尖锐、孤立 basin 中的样本更容易被遗忘。我们进一步分析记忆回放，表明回放在高能量样本上尤其有效，从而实现基于能量的回放样本选择。我们在 MHN 和两个扩散模型的实验中验证了这些预测，在持续学习环境下测试了 Stable Diffusion 和像素空间 DDPM。在这些扩散模型中，Hopfield 能量跟踪基于重建的遗忘，而回放实验揭示了能量依赖的遗忘缓解，与 MHN 分析一致。
关键词
引用
@article{arxiv.2605.27975,
title = {Continual Learning in Modern Hopfield Networks with an Application to Diffusion Models},
author = {Ken Takeda and Masafumi Oizumi and Ryo Karakida},
journal= {arXiv preprint arXiv:2605.27975},
year = {2026}
}