具有离散单元的窄置信网络的通用逼近深度与误差

我们推广了近期关于窄深度置信网络（narrow deep belief networks）最小层数的理论工作，这些网络能够任意好地逼近其可见单元状态上的任何概率分布。我们将二元单元的设定（Sutskever and Hinton, 2008; Le Roux and Bengio, 2008, 2010; Montúfar and Ay, 2011）放宽为具有任意有限状态空间的单元，并将逼近误差趋于零放宽为任意的逼近误差容限。例如，我们证明，对于某个 $m\in \mathbb{N}$，一个具有 $L\geq 2+\frac{q^{\lceil m-\delta \rceil}-1}{q-1}$ 层且宽度为 $n \leq m + \log_q(m) + 1$ 的 $q$ 元深度置信网络，能够逼近 $\{0,1,\ldots,q-1\}^n$ 上的任何概率分布，且 Kullback-Leibler 散度不超过 $\delta$。我们的分析涵盖了离散受限玻尔兹曼机（discrete restricted Boltzmann machines）和朴素贝叶斯模型作为特例。