利用超调制将无条件 GAN 迁移至条件 GAN
计算机视觉与模式识别
2022-04-26 v2
摘要
近年来 GAN 已趋于成熟，能够生成高分辨率、逼真的图像。然而，训练高质量 GAN 所需的计算资源与数据量极为庞大，因此对这些模型迁移学习的研究成为紧迫课题。许多现有的高质量预训练 GAN 是无条件的（如 StyleGAN）。但在众多应用中，条件 GAN 更受青睐，因其对生成过程提供更强控制，尽管往往面临更大的训练困难。因此，本文聚焦于从高质量预训练无条件 GAN 向条件 GAN 的迁移。这需要对预训练 GAN 进行架构适配以实现条件控制。为此，我们提出允许共享与互补监督的超调制生成网络。为防止超网络的额外权重在小目标域上过拟合并随之发生模式崩溃，我们引入一种自初始化过程，无需任何真实数据即可初始化超网络参数。为进一步提升迁移的样本效率，我们在判别器中应用对比学习，其在极有限批量大小下依然有效。在大量实验中，我们验证了超网络、自初始化与对比损失在标准基准上知识迁移的效率。
引用
@article{arxiv.2112.02219,
title = {Transferring Unconditional to Conditional GANs with Hyper-Modulation},
author = {Héctor Laria and Yaxing Wang and Joost van de Weijer and Bogdan Raducanu},
journal= {arXiv preprint arXiv:2112.02219},
year = {2022}
}
备注
19 pages, 20 figures, to be published in CVPRW 2022. Code at https://github.com/hecoding/Hyper-Modulation