通过影响力最大化学习受限玻尔兹曼机

图模型是一种丰富的语言，用于依据变量间的依赖结构来描述高维分布。尽管在多种场景下已有具备可证明保证的学习无向图模型的算法，但在存在隐变量这一重要场景中的进展却少得多。本文研究了受限玻尔兹曼机（Restricted Boltzmann Machines, RBMs），这是一种在降维、协同过滤、主题建模、特征提取和深度学习中有广泛应用的流行模型。本文的主要结论是关于 RBM 学习可行性的一个强二分法，其取决于变量间相互作用的性质：铁磁模型可以被高效学习，而一般模型则不能。具体而言，我们提出了一种基于影响力最大化的简单贪心算法，用于学习具有有界度的铁磁 RBM。实际上，我们学习到了观测变量上分布的 Markov 随机场（Markov Random Field）表示。我们的分析基于数学物理中为证明磁化率凹性而发展的工具。我们的算法可直接推广至包含隐变量的一般铁磁 Ising 模型。反之，我们证明了，即使对于具有常数度且隐变量数量为常数的情况，若不满足铁磁性，该问题与带噪声的稀疏奇偶性问题一样困难。这一困难性结果基于对有界度 RBM 表示能力的一个精确且令人惊讶的刻画：其观测变量上的分布可以模拟任意有界阶 MRF。由于 RBM 是深度信念网络的构建模块，该结果具有独立的意义。