变分有损自编码器
机器学习
2017-03-07 v2 机器学习
摘要
表示学习旨在在学到的表示中揭示观测数据的某些方面，使其适用于分类等下游任务。例如，2D 图像的良好表示可能是仅描述全局结构而丢弃详细纹理信息的表示。在本文中，我们提出了一种简单但有原则的方法，通过将变分自编码器 (VAE) 与神经自回归模型（如 RNN、MADE 和 PixelRNN/CNN）相结合来学习此类全局表示。我们提出的 VAE 模型允许我们控制全局潜在代码的学习内容，并且通过相应地设计架构，我们可以迫使全局潜在代码丢弃无关信息（如 2D 图像中的纹理），因此 VAE 仅以“有损”方式“自动编码”数据。此外，通过利用自回归模型作为先验分布 和解码分布 ，我们可以大幅提高 VAE 的生成建模性能，在 MNIST、OMNIGLOT 和 Caltech-101 Silhouettes 密度估计任务上达到了新的最先进水平 (SOTA)。
引用
@article{arxiv.1611.02731,
title = {Variational Lossy Autoencoder},
author = {Xi Chen and Diederik P. Kingma and Tim Salimans and Yan Duan and Prafulla Dhariwal and John Schulman and Ilya Sutskever and Pieter Abbeel},
journal= {arXiv preprint arXiv:1611.02731},
year = {2017}
}
备注
Added CIFAR10 experiments; ICLR 2017