通过判别器梯度流精炼深度生成模型
机器学习
2021-06-08 v4 人工智能
机器学习
摘要
深度生成建模近年来取得了令人瞩目的进展,以至于现在看到与真实世界数据密切相似的模拟样本(例如图像)已十分常见。然而,对于任何给定模型,生成质量通常不一致,并且在不同样本之间可能差异巨大。我们引入判别器梯度流(DGflow),一种通过真实与生成数据分布之间熵正则化f-散度的梯度流来改进生成样本的新技术。该梯度流采取非线性Fokker-Plank方程的形式,可通过从等效的McKean-Vlasov过程采样轻松模拟。通过精炼劣质样本,我们的技术避免了先前方法(DRS与MH-GAN)所使用的浪费性样本拒绝。与关注特定GAN变体的现有工作相比,我们表明我们的精炼方法可应用于具有向量值判别器的GAN甚至其他深度生成模型,如VAE和Normalizing Flows。在多个合成、图像和文本数据集上的实证结果表明,DGflow显著改善了多种生成模型的生成样本质量,优于最先进的Discriminator Optimal Transport (DOT)和Discriminator Driven Latent Sampling (DDLS)方法。
引用
@article{arxiv.2012.00780,
title = {Refining Deep Generative Models via Discriminator Gradient Flow},
author = {Abdul Fatir Ansari and Ming Liang Ang and Harold Soh},
journal= {arXiv preprint arXiv:2012.00780},
year = {2021}
}
备注
ICLR 2021 Camera Ready; Code available at https://github.com/clear-nus/DGflow; Updated Related Work