加速 Hopfield 网络动力学：超越同步更新与前向欧拉法
机器学习
2024-08-22 v2 神经与进化计算
摘要
Hopfield 网络作为机器学习中基础的基于能量的模型，通过常微分方程（ODE）刻画记忆检索动力学。该模型的输出即 ODE 的平衡点，传统上通过前向欧拉法的同步更新计算。本文旨在克服该方法的一些缺点。我们提出一种概念性转变，将 Hopfield 网络视为深度平衡模型（DEQ）的实例。DEQ 框架不仅允许使用专用求解器，还带来关于一种经验推理技术的新见解，我们称之为“奇偶分裂”。我们对该方法的理论分析揭示了一种可并行化的异步更新方案，其收敛速度应约为传统同步更新的两倍。经验评估验证了这些发现，展示了 DEQ 框架与奇偶分裂在数字模拟 Hopfield 网络能量最小化中的优势。代码见 https://github.com/cgoemaere/hopdeq
引用
@article{arxiv.2311.15673,
title = {Accelerating Hopfield Network Dynamics: Beyond Synchronous Updates and Forward Euler},
author = {Cédric Goemaere and Johannes Deleu and Thomas Demeester},
journal= {arXiv preprint arXiv:2311.15673},
year = {2024}
}
备注
Accepted at the ML-DE Workshop at ECAI 2024