LDC-VAE：一种面向变分自编码器的潜变量分布一致性方法
机器学习
2022-05-10 v2 人工智能
计算机视觉与模式识别
信息论
math.IT
摘要
变分自编码器（VAEs）作为生成模型的重要分支，已受到大量研究关注并取得了诸多成功应用。然而，在优化证据下界（ELBO）时，实现学到的潜变量分布与先验潜变量分布之间的一致性一直是一项挑战，并最终导致数据生成性能不佳。在本文中，我们提出一种潜变量分布一致性方法，以避免 ELBO 优化中后验与先验潜变量分布之间的这种显著不一致。我们将该方法命名为潜变量分布一致性 VAE（LDC-VAE）。我们通过假设潜空间中的真实后验分布为 Gibbs 形式，并使用我们的编码器对其进行逼近来实现此目的。然而，这种 Gibbs 后验在逼近中没有解析解，且传统逼近方式耗时，例如使用基于迭代采样的 MCMC。为解决该问题，我们使用 Stein 变分梯度下降（SVGD）来逼近 Gibbs 后验。同时，我们使用 SVGD 训练一个采样网络，该网络可从 Gibbs 后验中获得高效样本。在流行图像生成数据集上的对比研究表明，我们的方法取得了与若干强大 VAE 改进方法相当甚至更优的性能。
引用
@article{arxiv.2109.10640,
title = {LDC-VAE: A Latent Distribution Consistency Approach to Variational AutoEncoders},
author = {Xiaoyu Chen and Chen Gong and Qiang He and Xinwen Hou and Yu Liu},
journal= {arXiv preprint arXiv:2109.10640},
year = {2022}
}