在高斯模式海洋中检索布尔模式的神经网络

受限玻尔兹曼机是机器学习中的关键工具，由二分自旋玻璃的能量函数描述。从统计力学的角度来看，它们与用于联想记忆的 Hopfield 网络共享相同的 Gibbs 测度。在这种等价关系中，前者的权重扮演了后者中模式的角色。由于玻尔兹曼机通常需要实值权重以进行类似梯度下降方法的训练，而 Hopfield 网络通常存储二值模式以实现检索，因此对配备实值（如高斯）和离散（如布尔）混合模式的混合 Hebbian 网络的研究自然产生。我们证明，在实值模式高存储的挑战性机制下，检索是被禁止的，但只要总负载与网络规模之比不超过一个临界阈值，额外的布尔模式负载仍可被检索，该阈值与标准 Amit-Gutfreund-Sompolinsky 理论中的相同。假设 replica symmetry，我们结合随机稳定性和 Hamilton-Jacobi 插值技术研究了布尔模式低负载的情形。该结果可通过非严格但标准的 replica 计算论证推广到高负载情形。