具有隐式最优先验的变分自编码器
机器学习
2019-12-30 v2 机器学习
摘要
变分自编码器（VAE）是一种强大的生成模型，能够利用潜变量估计数据点的概率。在 VAE 中，给定数据点的潜变量后验通过潜变量先验使用 Kullback-Leibler（KL）散度进行正则化。尽管标准高斯分布通常用作先验，但这种简单先验会导致过度正则化。作为一种精细的先验，已引入聚合后验，即后验在数据分布上的期望。该先验在最大化训练目标函数方面对 VAE 是最优的。然而，与聚合后验的 KL 散度无法以封闭形式计算，这阻碍了我们使用这一最优先验。在本文提出的方法中，我们引入密度比技巧来估计该 KL 散度，而无需显式建模聚合后验。由于密度比技巧在高维下表现不佳，我们将包含高维密度比的 KL 散度重写为解析可算项与低维密度比项之和，并对低维密度比项应用密度比技巧。在多个数据集上的实验表明，具有该隐式最优先验的 VAE 实现了高密度估计性能。
引用
@article{arxiv.1809.05284,
title = {Variational Autoencoder with Implicit Optimal Priors},
author = {Hiroshi Takahashi and Tomoharu Iwata and Yuki Yamanaka and Masanori Yamada and Satoshi Yagi},
journal= {arXiv preprint arXiv:1809.05284},
year = {2019}
}
备注
9 pages, 9 figures, accepted at AAAI 2019. Code is available at https://github.com/takahashihiroshi/vae_iop