一种用于训练变分自编码器先验的对比学习方法
机器学习
2021-11-05 v3 计算机视觉与模式识别
机器学习
摘要
变分自编码器（VAEs）是强大的基于似然的生成模型之一，在许多领域有应用。然而，它们难以生成高质量图像，尤其当样本从先验中不经任何 tempering 直接取得时。对 VAE 生成质量不佳的一种解释是先验空洞问题：先验分布未能匹配聚合近似后验。由于这种不匹配，潜空间中存在一些在先验下高密度却不对应任何编码图像的区域。来自这些区域的样本被解码为损坏的图像。为解决此问题，我们提出一种由基先验分布与重加权因子乘积定义的基于能量的先验，旨在使基先验更接近聚合后验。我们通过噪声对比估计训练重加权因子，并将其推广到具有多个潜变量组的层次化 VAE。我们的实验证实，所提出的噪声对比先验在 MNIST、CIFAR-10、CelebA 64 和 CelebA HQ 256 数据集上大幅提升了 SOTA VAE 的生成性能。我们的方法简单，可应用于多种 VAE 以提升其先验分布的表达能力。
引用
@article{arxiv.2010.02917,
title = {A Contrastive Learning Approach for Training Variational Autoencoder Priors},
author = {Jyoti Aneja and Alexander Schwing and Jan Kautz and Arash Vahdat},
journal= {arXiv preprint arXiv:2010.02917},
year = {2021}
}
备注
Accepted to NeurIPS 2021