虚拟噪声模型中的学习与推断

受近期利用经验贝叶斯学习平滑密度的发展启发，我们研究了带有专为随机变量 $Y=X+N(0,\sigma^2 I_d)$ 定制的解码器的变分自编码器。一种平滑变分推断的概念由此浮现，其中平滑由解码器的噪声模型隐式强制；所谓“隐式”，是因为在训练期间编码器仅见到干净样本。这就是虚拟噪声模型的概念，其中噪声模型决定了变分下界 $\mathcal{L}(\sigma)$ 的函数形式，但带噪数据在学习过程中从未被见到。该模型被命名为 $\sigma$-VAE。我们证明所有 $\sigma$-VAE 通过简单的 $\beta$-VAE 展开彼此等价：$\mathcal{L}(\sigma_2) \equiv \mathcal{L}(\sigma_1,\beta)$，其中 $\beta=\sigma_2^2/\sigma_1^2$。我们对指数族中的拉普拉斯分布证明了类似结果。在实验上，我们报告了所学模型中一个引人入胜的幂律 $\mathcal{D}_{\rm KL} \sim \sigma^{-\nu}$，并研究了 $\sigma$-VAE 对未见带噪数据的推断。实验在 MNIST 上进行，我们表明即便模型在训练中未见到任何带噪样本，它也能对极度含噪样本做出合理推断，这一点相当引人注目。在此情形下，原始 VAE 完全失效。我们以关于此处发现的假设（XYZ 假设）作结。