何时、为何以及哪些预训练 GAN 有用?
机器学习
2022-03-11 v2 计算机视觉与模式识别
摘要
文献已提出多种方法在新数据集上微调预训练 GAN,与从头训练相比通常获得更高性能,尤其在有限数据情形下。然而,尽管 GAN 预训练有明显的经验益处,其内在机制未被深入分析,对其作用的理解尚不清晰。此外,关键的实际细节,例如选择合适的预训练 GAN 检查点,目前缺乏严谨依据,通常靠试错确定。本工作旨在剖析 GAN 微调过程。首先,我们表明通过预训练检查点初始化 GAN 训练过程主要影响模型的覆盖度而非单个样本的真实度。其次,我们明确描述预训练生成器与判别器如何贡献于微调过程,并解释先前关于两者均须预训练的重要性的证据。最后,作为我们分析的直接实际益处,我们给出一种简单方法来选择最适合微调到特定目标任务的适当 GAN 检查点。重要的是,对大多数目标任务,尽管视觉质量较差,ImageNet 预训练 GAN 似乎是微调的极佳起点,类似于判别性计算机视觉模型的典型预训练场景。
引用
@article{arxiv.2202.08937,
title = {When, Why, and Which Pretrained GANs Are Useful?},
author = {Timofey Grigoryev and Andrey Voynov and Artem Babenko},
journal= {arXiv preprint arXiv:2202.08937},
year = {2022}
}