非归一化变分贝叶斯

我们统一了经验贝叶斯与变分贝叶斯以近似非归一化密度。该框架被称为非归一化变分贝叶斯（UVB），其基于为随机变量 $Y=X+N(0,\sigma^2 I_d)$ 建立潜变量模型，并使用由变分自编码器计算的证据下界（ELBO）作为 $Y$ 的能量函数的参数化形式，进而利用经验贝叶斯最小二乘估计量来估计 $X$。在这一引人入胜的设定中，ELBO 相对于含噪输入的梯度在学习能量函数时起着核心作用。从经验上看，我们证明 UVB 比神经经验贝叶斯（DEEN）中使用 MLP 的参数化具有更高的能量函数近似能力。我们特别展示了 $\sigma=1$ 的情形，此时 UVB 与 DEEN 的差异在去噪实验中变得可见且具有定性区别。对于这一高噪声水平，$Y$ 的分布非常平滑，我们证明可以通过快速混合的 Langevin MCMC 采样器进行 walk-jump 采样，在单次运行（无需重启）中遍历多种风格的 all MNIST 类别。最后，我们探查了训练模型的编码器/解码器，并确认 UVB $\neq$ VAE。