VAEBM：变分自编码器与基于能量模型的共生
机器学习
2021-11-08 v3 计算机视觉与模式识别
机器学习
摘要
基于能量模型（EBM）近来已成功表示小图像上的复杂分布。然而，从它们中采样需要昂贵的马尔可夫链蒙特卡洛（MCMC）迭代，在高维像素空间中混合缓慢。与 EBM 不同，变分自编码器（VAE）快速生成样本，并配备有能够快速度遍历数据流形的潜空间。然而，VAE 倾向于将数据空间中介于实际数据分布之外的区域赋予高概率密度，且常无法生成清晰图像。在本文中，我们提出 VAEBM，一种 VAE 与 EBM 的共生组合，兼具两者之长。VAEBM 使用最先进的 VAE 捕获数据分布的整体模态结构，并依靠其 EBM 组件显式地将非数据类区域排除在模型之外并精炼图像样本。此外，VAEBM 中的 VAE 组件使我们能够通过在其潜空间中重参数化来加速 MCMC 更新。我们的实验结果表明，VAEBM 在多个基准图像数据集上以大幅优势超越最先进的 VAE 和 EBM 的生成质量。它可以用短 MCMC 链生成大至 256256 像素的高质量图像。我们还证明 VAEBM 提供完整的模态覆盖，并在分布外检测中表现良好。源代码见 https://github.com/NVlabs/VAEBM
引用
@article{arxiv.2010.00654,
title = {VAEBM: A Symbiosis between Variational Autoencoders and Energy-based Models},
author = {Zhisheng Xiao and Karsten Kreis and Jan Kautz and Arash Vahdat},
journal= {arXiv preprint arXiv:2010.00654},
year = {2021}
}
备注
ICLR 2021 (spotlight)