古戈尔高斯分布的先验：一种张量环诱导的生成模型先验
机器学习
2019-10-30 v1 机器学习
摘要
生成模型在文本、图像、视频与音频合成等诸多领域生成逼真的对象。最流行的模型——生成对抗网络（GAN）与变分自编码器（VAE）——通常采用标准高斯分布作为先验。先前的研究表明，更丰富的先验分布族可能有助于避免 GAN 中的模式崩溃问题，并改善 VAE 中的证据下界。我们提出了一类新的先验分布族——张量环诱导先验（TRIP）——其以相对较少的参数将指数数量的高斯分布打包进高维格点中。我们表明这些先验改善了 GAN 的 Fréchet Inception Distance 与 VAE 的证据下界。我们还研究了在具有缺失条件的条件生成设置下带 TRIP 的生成模型。总之，我们提出了一种新颖的即插即用框架，可用于任何 GAN 与类 VAE 架构。
引用
@article{arxiv.1910.13148,
title = {A Prior of a Googol Gaussians: a Tensor Ring Induced Prior for Generative Models},
author = {Maksim Kuznetsov and Daniil Polykovskiy and Dmitry Vetrov and Alexander Zhebrak},
journal= {arXiv preprint arXiv:1910.13148},
year = {2019}
}
备注
NeurIPS 2019; GitHub: https://github.com/insilicomedicine/TRIP