生成模型中无有限均值潜分布的研究
机器学习
2018-06-06 v1 机器学习
摘要
我们研究了在隐式生成模型的潜空间先验分布背景下多维概率分布的性质。我们的工作围绕在对两个随机潜向量进行线性插值解码时出现的各种现象展开——会采样到潜空间中靠近原点的区域，从而导致分布失配。我们表明，由于中心极限定理（Central Limit Theorem, CLT），在训练过程中几乎从未采样到该区域。因此，线性插值可能生成不真实的数据，并且将其用作检验已训练模型质量的工具是值得怀疑的。我们提出使用多维柯西分布作为潜先验。柯西分布不满足 CLT 的假设，并具有许多使其能够与线性插值良好配合的性质。我们还提供了两种创建非线性插值的通用方法，可轻松应用于一大类常见潜分布。最后，我们在 CelebA 数据集上针对 DCGAN 模型从低概率质量区域生成的数据进行了实证分析。
引用
@article{arxiv.1806.01670,
title = {On Latent Distributions Without Finite Mean in Generative Models},
author = {Damian Leśniak and Igor Sieradzki and Igor Podolak},
journal= {arXiv preprint arXiv:1806.01670},
year = {2018}
}
备注
First two authors contributed equally