从条件于类别或连续变量的 GAN 中高效子采样真实图像
计算机视觉与模式识别
2022-04-21 v5 机器学习
机器学习
摘要
近来，从无条件 GAN 中子采样或精炼图像以改善整体图像质量的研究十分活跃。遗憾的是，这些方法在处理条件 GAN（cGANs）——条件于类别（即类条件 GAN）或连续变量（即连续 cGAN 或 CcGAN）——时往往效果欠佳或效率低下。本文提出一种高效且有效的子采样方案，称为条件密度比引导的拒绝采样（cDR-RS），以从 cGAN 中采样高质量图像。具体而言，我们首先通过提出条件 Softplus（cSP）损失与一种改进的特征提取机制，开发了一种新颖的条件密度比估计方法，称为 cDRE-F-cSP。随后，我们推导了以 cSP 损失训练的密度比模型的误差界。最后，我们根据估计的条件密度比接受或拒绝一张伪造图像。还开发了一种滤波方案，以在从 CcGAN 采样时不损失多样性地提升伪造图像的标签一致性。我们在五个基准数据集上广泛测试了 cDR-RS 从类条件 GAN 与 CcGAN 采样的有效性与效率。从类条件 GAN 采样时，cDR-RS 在有效性上大幅优于现代最先进方法（DRE-F-SP+RS 除外）。尽管 cDR-RS 的有效性常与 DRE-F-SP+RS 相当，但其效率显著更高。从 CcGAN 采样时，cDR-RS 在有效性与效率上的优势更为明显。值得注意的是，在消耗合理计算资源下，cDR-RS 能大幅降低标签分数（Label Score）而不减少 CcGAN 生成图像的多样性，而其他方法常需以大量多样性换取略微提升的标签分数。
引用
@article{arxiv.2103.11166,
title = {Efficient Subsampling of Realistic Images From GANs Conditional on a Class or a Continuous Variable},
author = {Xin Ding and Yongwei Wang and Z. Jane Wang and William J. Welch},
journal= {arXiv preprint arXiv:2103.11166},
year = {2022}
}