面向生成模型的自适应密度估计
计算机视觉与模式识别
2020-01-06 v3 机器学习
摘要
生成模型的无监督学习近年来取得了巨大进展，尤其是得益于生成对抗网络（GAN）、变分自编码器和基于流的模型。GAN 极大地提升了样本质量，但存在两个缺陷：（i）它们发生模式丢弃（mode-drop），即不能覆盖训练数据的完整支撑集；（ii）它们无法对留出数据进行似然评估。相比之下，基于似然的训练鼓励模型覆盖训练数据的完整支撑集，但生成的样本质量较差。这些相互的不足原则上可通过以对抗-似然混合方式训练生成潜变量模型来解决。然而，我们表明常用的参数化假设在二者间制造了冲突，使得成功的混合模型并非易事。作为解决方案，我们提出在潜变量解码器中使用深度可逆变换。该方法允许在图像空间进行似然计算，比完全可逆模型更高效，并能充分利用对抗训练的优势。我们表明，我们的模型显著优于现有混合模型：提供类 GAN 的样本、与完全对抗模型具有竞争力的 IS 和 FID 分数，以及改进的似然分数。
引用
@article{arxiv.1901.01091,
title = {Adaptive Density Estimation for Generative Models},
author = {Thomas Lucas and Konstantin Shmelkov and Karteek Alahari and Cordelia Schmid and Jakob Verbeek},
journal= {arXiv preprint arXiv:1901.01091},
year = {2020}
}