寻找分散记忆：生成扩散模型是联想记忆网络
机器学习
2023-11-20 v2 机器学习
摘要
揭示长期记忆背后的机制是神经科学与人工智能中最引人入胜的开放问题之一。人工联想记忆网络已被用于形式化生物记忆的重要方面。生成扩散模型是一类在许多任务中表现出优异性能的机器学习生成技术。如同联想记忆系统，这些网络定义了一个收敛于一组目标状态的动力系统。本工作中我们表明，生成扩散模型可被解释为基于能量的模型，且当在离散模式上训练时，其能量函数（渐近）等同于现代 Hopfield 网络。这一等价性使我们能将扩散模型的监督训练解释为突触学习过程，该过程将现代 Hopfield 网络的联想动力学编码于深度神经网络的权重结构中。借助此联系，我们提出了一个理解长期记忆形成的通用框架，其中创造性生成与记忆回忆可被视为统一连续体的一部分。
引用
@article{arxiv.2309.17290,
title = {In search of dispersed memories: Generative diffusion models are associative memory networks},
author = {Luca Ambrogioni},
journal= {arXiv preprint arXiv:2309.17290},
year = {2023}
}