层次模型作为层次模型的边缘分布

我们研究用具有更小相互作用的其他层次模型的边缘分布来表示层次模型。我们关注二元变量和成对相互作用模型的边缘，其隐藏变量在给定可见变量时条件独立。在这种情况下，该问题等价于用具有soft-plus计算单元的前馈神经网络表示多项式的线性子空间。我们展示每个隐藏变量可以自由建模可见变量之间的多个相互作用，这使我们能够推广并改进先前的结果。特别地，我们展示具有少于 $[ 2(\log(v)+1) / (v+1) ] 2^v-1$ 个隐藏二元变量的受限玻尔兹曼机可以任意好地近似 $v$ 个可见二元变量的每个分布，而之前最佳已知结果为 $2^{v-1}-1$。