高斯过程先验变分自编码器
机器学习
2018-11-27 v2 机器学习
摘要
变分自编码器（VAE）是一类强大且被广泛使用的模型，用于以无监督方式学习复杂数据分布。VAE 的一个重要局限在于其先验假设潜在样本表示是独立同分布的。然而，对于许多重要的数据集（如图像时间序列），该假设过强：考虑样本间的协方差（例如时间上的协方差）能够产生更恰当的模型设定并提升下游任务中的性能。本工作中，我们引入一种新模型——高斯过程（GP）先验变分自编码器（GPPVAE），以专门解决此问题。GPPVAE 旨在将 VAE 的能力与 GP 先验所提供的建模相关性的能力相结合。为在这类新模型中实现高效推断，我们利用协方差矩阵中的结构，并引入一种新的随机反向传播策略，该策略允许以分布式和低内存方式计算随机梯度。我们表明，在两项图像数据应用中，我们的方法优于条件变分自编码器（CVAE）以及标准 VAE 的一种改编版本。
引用
@article{arxiv.1810.11738,
title = {Gaussian Process Prior Variational Autoencoders},
author = {Francesco Paolo Casale and Adrian V Dalca and Luca Saglietti and Jennifer Listgarten and Nicolo Fusi},
journal= {arXiv preprint arXiv:1810.11738},
year = {2018}
}
备注
Accepted at 32nd Conference on Neural Information Processing Systems (NIPS 2018), Montr\'eal, Canada