集成现成模型用于 GAN 训练
计算机视觉与模式识别
2022-05-05 v3 图形学
机器学习
摘要
大规模训练的出现带来了大量强大的视觉识别模型。然而，诸如 GAN 之类的生成模型，传统上一直是以无监督方式从头开始训练的。能否利用来自大量预训练视觉模型库的集体“知识”来改进 GAN 训练？如果可以，在如此多的模型可供选择的情况下，应该选择哪一个（些）模型，并以何种方式使用它们最有效？我们发现，当预训练计算机视觉模型作为判别器集成使用时，可以显著提高性能。值得注意的是，所选模型的特定子集对性能影响很大。我们提出了一种有效的选择机制：通过探测预训练模型嵌入中真实样本与伪造样本之间的线性可分性，选择最准确的模型，并将其逐步加入判别器集成中。有趣的是，我们的方法在有限数据和大规模设置下均能改进 GAN 训练。仅给定 10k 训练样本，我们在 LSUN Cat 上的 FID 即可媲美在 1.6M 张图像上训练的 StyleGAN2。在完整数据集上，我们的方法在 LSUN 的 cat、church 和 horse 类别上将 FID 提高了 1.5 倍至 2 倍。
引用
@article{arxiv.2112.09130,
title = {Ensembling Off-the-shelf Models for GAN Training},
author = {Nupur Kumari and Richard Zhang and Eli Shechtman and Jun-Yan Zhu},
journal= {arXiv preprint arXiv:2112.09130},
year = {2022}
}
备注
CVPR 2022 (Oral). GitHub: https://github.com/nupurkmr9/vision-aided-gan Project webpage: https://www.cs.cmu.edu/~vision-aided-gan/