深度NADE与生成随机网络的等价性

神经自回归分布估计器（NADE）最近被证明是建模高维多模态分布的成功替代方案。NADE的一个问题是它们依赖于$P(\mathbf{x})$的特定因子分解顺序。这个问题最近被NADE的一个变体——无序NADE及其更深版本深度无序NADE所解决。无序NADE基于一个随机最大化所有可能因子分解顺序下$P(\mathbf{x})$的准则进行训练。不幸的是，从深度NADE中进行祖先采样非常昂贵，相当于分别运行一个神经网络来预测每个可见变量（给定其他变量）。这项工作将该准则与生成随机网络（GSN）的训练准则联系起来。它表明，以这种方式训练NADE同时也训练了一个GSN，该GSN定义了一个与NADE模型相关的马尔可夫链。基于这种联系，我们展示了一种从训练好的无序NADE中采样的替代方法，允许在计算时间和样本质量之间进行权衡：可以获得3到10倍的加速（考虑到链中连续样本之间相关性造成的浪费），而不会明显降低样本质量。这是通过一种称为退火GSN采样的新型GSN采样程序实现的，类似于结合了快速混合（通过高噪声水平的步骤获得）和精确样本（通过低噪声水平的步骤获得）的退火方法。