零噪声极限下的关联记忆与生成扩散

本文表明，生成扩散过程在噪声消失时收敛于关联记忆系统，并对两类模型的稳定性、鲁棒性、记忆与生成动力学进行了表征。证明了Morse-Smale动力学系统是关联记忆模型的通用逼近器，扩散过程是其白噪声扰动。在关联记忆的通用性质基础上，我们 characterize了从生成向记忆的范数从噪声减少的普遍转变。Morse-Smale流的结构稳定性——即其全局临界点结构的鲁棒性——意味着在零噪声极限下，扩散过程的轨迹和不变测度也具有稳定性。这些模型的学习与生成景观呈现为参数化的梯度流及其随机扰动的集合，而Morse-Smale系统的分支理论表明，这些景观在除孤立参数值外通常是稳定的，在这些值处，易数个局部和全局分支支配参数空间中稳定系统之间的转变。因此，这些景观由有序的分支序列特征化，这些序列创建、销毁或改变rest point之间的连接，并且在小的随机或确定性扰动下是稳健的。该框架对模型表述是中性的，我们通过能量基模型、去噪扩散模型以及经典和现代Hopfield网络的实例验证了这一点。我们此外推导了Hopfield类网络的结构稳定性准则，发现简单案例违反了这些准则。总体而言，我们的几何方法为记忆和生成景观的分类、稳定性及涌现提供了洞见。