勿怪ELBO！从线性VAE视角看后验坍缩
机器学习
2019-11-07 v1 机器学习
摘要
变分自编码器（VAEs）中的后验坍缩发生在变分后验分布与先验对部分潜变量高度匹配时。本文通过对线性VAE及其与概率主成分分析（pPCA）的直接对应关系进行分析，给出了后验坍缩一个简单直观的解释。我们解释了在pPCA中后验坍缩如何因对数边际似然中的局部极大值而产生。出乎意料地，我们证明了线性VAE的ELBO目标相对于对数边际似然并未引入额外的伪局部极大值。我们进一步表明，用精确变分推断训练线性VAE可恢复对应于主成分方向的可辨识全局极大值。在经验上，我们发现即便对于高容量非线性VAE，我们的线性分析也具有预测性，并有助于解释深度高斯VAE中观测噪声、局部极大值与后验坍缩之间的关系。
引用
@article{arxiv.1911.02469,
title = {Don't Blame the ELBO! A Linear VAE Perspective on Posterior Collapse},
author = {James Lucas and George Tucker and Roger Grosse and Mohammad Norouzi},
journal= {arXiv preprint arXiv:1911.02469},
year = {2019}
}
备注
11 main pages, 10 appendix pages. 13 figures total. Accepted at 33rd Conference on Neural Information Processing Systems (NeurIPS 2019)