同伴即支柱：面向少样本图像生成的数据不平衡条件 GAN
计算机视觉与模式识别
2023-11-15 v1
摘要
少样本图像生成旨在利用少量训练图像训练生成模型。当可用于训练的图像很少（例如 10 张）时，从零学习（LFS）方法常生成与训练数据高度相似的图像，而迁移学习（TL）方法试图通过利用在大规模数据集上预训练的 GAN 的先验知识来提升性能。然而，当前 TL 方法可能不足以控制从源模型保留知识的程度，使其不适用于源域与目标域关联不紧密的设置。为此，我们提出一种称为“同伴即支柱”（PIP）的新流程，它将目标少样本数据集与同伴数据集结合以创建数据不平衡的条件生成。我们的方法包含一种将类空间与潜空间分离的类嵌入方法，并使用基于预训练 CLIP 的方向损失来提升图像多样性。在多个少样本数据集上的实验证明了所提 PIP 的先进性，尤其降低了少样本图像生成的训练要求。
引用
@article{arxiv.2311.08217,
title = {Peer is Your Pillar: A Data-unbalanced Conditional GANs for Few-shot Image Generation},
author = {Ziqiang Li and Chaoyue Wang and Xue Rui and Chao Xue and Jiaxu Leng and Bin Li},
journal= {arXiv preprint arXiv:2311.08217},
year = {2023}
}
备注
Under Review