细察少样本图像生成
计算机视觉与模式识别
2023-04-18 v2 图像与视频处理
摘要
现代GAN在生成高质量且多样的图像方面表现出色。然而，当将预训练GAN迁移到小型目标数据（如10-shot）时，生成器倾向于复制训练样本。已有若干方法被提出以解决这一少样本图像生成任务，但缺乏在统一框架下分析它们的努力。作为我们的第一个贡献，我们提出一个框架来分析现有方法在适配过程中的表现。我们的分析发现，尽管某些方法过度关注多样性保持从而妨碍了质量提升，但所有方法在收敛后达到相似质量。因此，更优的方法是那些能减缓多样性退化者。此外，我们的分析揭示，仍有很大空间进一步减缓多样性退化。受分析启发并为在适配中减缓目标生成器的多样性退化，我们的第二个贡献提出应用互信息（MI）最大化以在目标域生成器中保留源域丰富的多级多样性信息。我们提出通过对比损失（CL）执行MI最大化，利用生成器与判别器作为两个特征编码器提取不同的多级特征以计算CL。我们将所提方法称为双对比学习（DCL）。在多个公开数据集上的大量实验表明，我们的DCL在适配中带来更慢的多样性退化生成器，同时取得视觉愉悦的质量与最先进的定量性能。项目页面：yunqing-me.github.io/A-Closer-Look-at-FSIG。
引用
@article{arxiv.2205.03805,
title = {A Closer Look at Few-shot Image Generation},
author = {Yunqing Zhao and Henghui Ding and Houjing Huang and Ngai-Man Cheung},
journal= {arXiv preprint arXiv:2205.03805},
year = {2023}
}
备注
12 figures, 4 tables, The IEEE / CVF Computer Vision and Pattern Recognition Conference (CVPR) 2022