关于 Hopfield 网络与受限玻尔兹曼机之间的映射

Hopfield 网络（HNs）与受限玻尔兹曼机（RBMs）是统计物理、机器学习与神经科学交叉领域的两个重要模型。近来，由于二者在统计力学形式下的相似性，人们对 HNs 与 RBMs 之间关系产生了兴趣。此前已在正交（不相关）编码模式的特例下指出了 HNs 与 RBMs 之间的精确映射。本文给出了相关模式 HNs 情形下的精确映射，其对现有数据集具有更广泛的适用性。具体而言，我们证明任意具有 $N$ 个二值变量和 $p<N$ 个任意二值模式的 HN 均可转化为具有 $N$ 个二值可见变量和 $p$ 个高斯隐变量的 RBM。我们概述了反向映射存在的条件，并在 MNIST 数据集上进行了实验，表明该映射可为 RBM 权重提供有用的初始化。我们讨论了扩展、这一对应关系对 RBM 训练的重要性，以及对理解利用 RBM 的深度架构性能的意义。