利用 VQ-VAE-2 生成多样且高保真图像
机器学习
2019-06-04 v1 计算机视觉与模式识别
机器学习
摘要
我们探索向量量化变分自编码器（Vector Quantized Variational AutoEncoder, VQ-VAE）模型在大规模图像生成中的使用。为此，我们扩展并增强 VQ-VAE 中使用的自回归先验，以生成比以往可能达到的连贯性与保真度都高得多的合成样本。我们使用简单的前馈编码器与解码器网络，使我们的模型在编码和/或解码速度至关重要的应用中成为有吸引力的候选。此外，VQ-VAE 仅需在压缩潜空间中采样自回归模型，这比在像素空间中采样快一个数量级，尤其对于大图像。我们证明，以多尺度层次化组织的 VQ-VAE，辅以对潜码的强大先验，能够生成在 ImageNet 等多面数据集上与最先进生成对抗网络（Generative Adversarial Network, GAN）质量相媲美的样本，同时不受 GAN 已知缺陷如模式崩溃与多样性缺乏的困扰。
引用
@article{arxiv.1906.00446,
title = {Generating Diverse High-Fidelity Images with VQ-VAE-2},
author = {Ali Razavi and Aaron van den Oord and Oriol Vinyals},
journal= {arXiv preprint arXiv:1906.00446},
year = {2019}
}