针对 GAN 分类器的 GAN 序贯训练揭示独立训练 GAN 实例间存在的相关性“知识鸿沟”
机器学习
2023-03-29 v1 计算机视觉与模式识别
摘要
现代生成对抗网络（GANs）能极好地生成逼真图像。先前工作已证明“GAN 分类器”的可行性，其与共训练的判别器不同，并对来自冻结 GAN 的生成图像起作用。此类分类器之所以有效，证实了 GAN 训练中存在“知识鸿沟”（样本间的分布外伪影）。我们迭代训练 GAN 分类器并训练“欺骗”分类器的 GAN（试图填补知识鸿沟），考察其对 GAN 训练动态、输出质量及 GAN 分类器泛化的影响。我们考察两种设定：在低频维图像（MNIST）上训练的小型 DCGAN 架构，以及在高频维图像（FFHQ）上训练的 SOTA GAN 架构 StyleGAN2。我们发现 DCGAN 无法在不损害输出质量的前提下有效欺骗留出的 GAN 分类器。然而，StyleGAN2 能在输出质量不变的情况下欺骗留出分类器，且该效应在多轮 GAN/分类器训练中持续，似乎揭示了生成器参数空间中最优解的一种序关系。最后，我们研究不同分类器架构，表明 GAN 分类器的架构对其所学伪影集合有强烈影响。
引用
@article{arxiv.2303.15533,
title = {Sequential training of GANs against GAN-classifiers reveals correlated "knowledge gaps" present among independently trained GAN instances},
author = {Arkanath Pathak and Nicholas Dufour},
journal= {arXiv preprint arXiv:2303.15533},
year = {2023}
}