受限玻尔兹曼机模型：教师-学生设置下的结构化数据学习

受限玻尔兹曼机 (RBM) 是一种能够学习具有丰富内部结构的数据的生成模型。我们研究了教师-学生设置，其中学生 RBM 学习由教师 RBM 生成的结构化数据。数据中的结构量通过调整教师的隐藏单元数以及权重行中的相关性（即模式）来控制。 在无相关性情况下，我们验证了学习性能与教师模式数目和学生 RBM 的隐藏单元数目无关的假设，并认为教师-学生设置可用作研究彩票票 hypothesis 的玩具模型。超出此范畴，我们发现学习教师模式所需的临界数据量随其数目和相关性的增加而降低。在两种范畴中，我们发现即使在相对较大的数据集上，如果正则化所用的推断温度保持得太低，学习教师模式也变得不可能。在我们的框架中，学生可以以一对一或多对一的方式学习教师模式，将前述关于具有两个隐藏单元的教师-学生设置的发现推广到任意有限数量的隐藏单元。