广义 Hopfield 网络中原型学习的 Waddington 景观
无序系统与神经网络
2023-12-07 v1 机器学习
神经与进化计算
定量方法
摘要
机器学习中的网络提供了类似于生物系统的复杂高维动力系统实例。在此，我们研究广义 Hopfield 网络的学习动力学，该网络允许对内部记忆进行可视化。这些网络已被证明随着网络非线性强度的增加，会经历一个“特征到原型”的转变，其中内部记忆的学习状态或终态从混合态转变为纯态。聚焦于内部记忆的原型学习动力学，我们观察到其与细胞在 Waddington 景观内分化时的限流或低维动力学具有很强的相似性。在动力学上，我们证明广义 Hopfield 网络中的学习通过在记忆空间中的顺序“分裂”进行。此外，分裂的顺序是可解释和可重复的。分裂之间的动力学在 Waddington 意义上是限流的——对系统细节方面的变化具有鲁棒性。为了尝试使这种类比成为严格的等价关系，我们研究了表现出与完整系统相似性质的较小子系统。我们结合解析计算与数值模拟，研究了特征到原型转变的动力学涌现，以及学习过程中访问的景观中分裂点、鞍点的行为。我们展示了鞍点通过鞍结分岔出现和消失的区域，这随着非线性强度的变化定性地改变了所学记忆的分布——使我们能够系统地研究 Waddington 动力学涌现背后的机制。因此，记忆可以以一种可预测和受控的方式分化，揭示了实验生物学、动力系统理论和机器学习之间的新桥梁。
引用
@article{arxiv.2312.03012,
title = {A Waddington landscape for prototype learning in generalized Hopfield networks},
author = {Nacer Eddine Boukacem and Allen Leary and Robin Thériault and Felix Gottlieb and Madhav Mani and Paul François},
journal= {arXiv preprint arXiv:2312.03012},
year = {2023}
}