在自回归图像生成中引入强化对抗学习
计算机视觉与模式识别
2020-07-21 v1 机器学习
图像与视频处理
摘要
自回归模型在向量量化变分自编码器（VQ-VAE）的帮助下，近期取得了与最先进生成对抗网络（GANs）相当的结果。然而，自回归模型存在若干局限，如曝光偏差，且其训练目标无法保证视觉保真度。为应对这些局限，我们提出基于策略梯度优化的强化对抗学习（RAL）用于自回归模型。通过应用RAL，我们使训练与测试过程相似以解决曝光偏差问题。此外，受强大对手GANs启发，利用对抗损失进一步优化了视觉保真度。由于自回归模型采样速度慢，我们提出使用部分生成以加速训练。RAL还促进了VQ-VAE框架中不同模块间的协作。据我们所知，所提方法首次在自回归模型中实现图像生成的对抗学习。在合成与真实数据集上的实验表明其优于MLE训练的模型。所提方法同时改善了负对数似然（NLL）与Fréchet Inception Distance（FID），表明视觉质量与多样性均有提升。该方法在Celeba上以64×64图像分辨率取得最先进结果，展现出大规模图像生成的潜力。
引用
@article{arxiv.2007.09923,
title = {Incorporating Reinforced Adversarial Learning in Autoregressive Image Generation},
author = {Kenan E. Ak and Ning Xu and Zhe Lin and Yilin Wang},
journal= {arXiv preprint arXiv:2007.09923},
year = {2020}
}
备注
Accepted to ECCV 2020