VAE近似误差: ELBO与指数族

Alexander Shekhovtsov; Dmitrij Schlesinger; Boris Flach

VAE近似误差: ELBO与指数族

机器学习 2022-04-12 v4 计算机视觉与模式识别机器学习

作者: Alexander Shekhovtsov , Dmitrij Schlesinger , Boris Flach

摘要

变分自编码器的重要性远远超出了独立的生成模型——该方法也用于学习潜表示并可推广到半监督学习。这需要对它们众所周知的缺陷进行透彻分析:后验坍缩和近似误差。本文分析了由ELBO目标与来自条件指数族的编码器模型(包括但不限于常用的条件独立离散和连续模型)相结合所引起的VAE近似误差。我们刻画了与这些编码器族一致的生成模型子类。我们表明ELBO优化器被从这些似然优化器拉向一致子集,并在实验中研究了该效应。重要的是,该子集不能通过考虑更深的编码器/解码器网络来扩大,相应误差也无法减小。

关键词

变分自编码器 ELBO 近似误差指数族后验坍缩潜表示

引用

@article{arxiv.2102.09310,
  title  = {VAE Approximation Error: ELBO and Exponential Families},
  author = {Alexander Shekhovtsov and Dmitrij Schlesinger and Boris Flach},
  journal= {arXiv preprint arXiv:2102.09310},
  year   = {2022}
}

备注

ICLR 2022 spotlight

VAE近似误差: ELBO与指数族

摘要

关键词

引用

备注

相关论文