神经离散表示学习
机器学习
2018-05-31 v2
摘要
在无监督条件下学习有用表示仍是机器学习中的关键挑战。本文提出一种简单而强大的生成模型，可学习此类离散表示。我们的模型，即向量量化-变分自编码器（VQ-VAE），与 VAE 在两个关键方面不同：编码器网络输出离散而非连续的编码；先验是学习得到的而非静态的。为学习离散潜表示，我们融入了向量量化（VQ）的思想。使用 VQ 方法使模型规避了“后验坍缩”问题——在 VAE 框架中，当潜变量与强大的自回归解码器配对时往往被忽略——这一问题通常见于 VAE 框架。将这些表示与自回归先验配对，该模型可生成高质量图像、视频和语音，并进行高质量说话人转换与音素的无监督学习，进一步证明了所学表示的效用。
引用
@article{arxiv.1711.00937,
title = {Neural Discrete Representation Learning},
author = {Aaron van den Oord and Oriol Vinyals and Koray Kavukcuoglu},
journal= {arXiv preprint arXiv:1711.00937},
year = {2018}
}