探索现代 Hopfield 网络中温度依赖的相变

近期发现的 Transformers 与现代 Hopfield 网络（MHNs）之间的联系，重新从物理能量基视角点燃了对神经网络的研究。本文关注逆温度超参数 $\beta$ 对 MHN 能量极小值分布的关键影响。为此，我们在一个存储了等距归一化模式的简化 MHN 中追踪能量极小值的分布。该网络在临界温度 $\beta_{\text{c}}$ 处展现出相变：随着 $\beta$ 增大，从单一全局吸引子转向高度模式特异的极小值。重要的是，动力学不仅由超参数 $\beta$ 支配，而是由同样依赖于所存储模式分布与大小的有效逆温度 $\beta_{\text{eff}}$ 决定。认识到 MHN 中超参数的作用，未来或可帮助 Transformers 领域的研究者优化其初始选择，潜在减少耗时耗能的超参数微调的必要性。