重加权唤醒 - 睡眠算法

训练具有多个隐藏变量的深度有向图模型并执行推断仍然是一个主要挑战。Helmholtz 机和深度信念网络就是此类模型，且已提出唤醒 - 睡眠算法来训练它们。唤醒 - 睡眠算法不仅依赖于训练有向生成模型，还依赖于训练一个条件生成模型（推断网络），该网络从可见层反向运行至潜变量层，以估计给定可见变量的潜变量后验分布。我们提出了对唤醒 - 睡眠算法的一种新颖解释，表明通过对推断网络多次采样潜变量可以获得更好的梯度估计器。这一观点基于将重要性采样作为似然的估计器，并将近似推断网络作为提议分布。实验证实了这一解释，表明通过这种重加权唤醒 - 睡眠过程可以实现更好的似然。基于这一解释，我们提出 Sigmoid 信念网络对于推断网络的各层而言不够强大，无法恢复潜变量后验分布的良好估计器。我们的实验表明，使用更强大的层模型（如 NADE）可产生 substantially 更好的生成模型。