一种通过微调类别嵌入层来改进和再利用大型预训练GAN的高性价比方法
机器学习
2020-10-12 v4 计算机视觉与模式识别
机器学习
摘要
大型预训练生成模型在研究和更广泛社区中已日益流行且有用。具体而言，在ImageNet上训练的类别条件生成对抗网络BigGANs——在生成逼真照片方面取得了优异的、最先进的能力。然而，对大多数研究人员和工程师而言，从头微调或训练BigGANs实际上是不可能的，因为(1) GAN训练通常不稳定且遭受模式崩溃；(2) 训练需要大量计算，即256个Google TPU运行2天或8×V100 GPU运行15天。重要的是，人们发现NLP和图像领域中的许多预训练生成模型都包含对社会有害的偏差。因此，我们需要计算上可行的方法来修改和再利用这些庞大的预训练模型以用于下游任务。在本文中，我们提出了一种高性价比的优化方法，通过仅微调类别嵌入层来改进和再利用BigGANs。我们在三个任务中展示了我们模型编辑方法的有效性：(1) 显著改善完全模式崩溃类别的样本真实性和多样性；(2) 将ImageNet BigGANs再利用以生成Places365的图像；以及(3) 对选定的ImageNet类别去偏或改善样本多样性。
引用
@article{arxiv.1910.04760,
title = {A cost-effective method for improving and re-purposing large, pre-trained GANs by fine-tuning their class-embeddings},
author = {Qi Li and Long Mai and Michael A. Alcorn and Anh Nguyen},
journal= {arXiv preprint arXiv:1910.04760},
year = {2020}
}
备注
Preprint