中文

WeditGAN:通过隐空间重定位的少样本图像生成

计算机视觉与模式识别 2024-01-17 v3

摘要

在少样本图像生成中,仅在少量图像上直接训练 GAN 模型面临过拟合风险。一种流行的解决方案是将在大源域上预训练的模型迁移到小目标域。本工作中,我们提出 WeditGAN,其通过用学习到的常数偏移(Δw\Delta w)编辑 StyleGAN 中的中间隐代码 ww,经由简单重定位源隐空间分布来发现并构建目标隐空间,从而实现模型迁移。隐空间之间建立的逐点映射可自然防止模式崩溃与过拟合。此外,我们还提出 WeditGAN 的变体,通过正则化 Δw\Delta w 的方向或微调其强度来进一步增强重定位过程。在一系列广泛使用的源/目标数据集上的实验表明了 WeditGAN 在生成真实且多样图像方面的能力,其在少样本图像生成研究领域简单却极为有效。代码见 https://github.com/Ldhlwh/WeditGAN。

关键词

引用

@article{arxiv.2305.06671,
  title  = {WeditGAN: Few-Shot Image Generation via Latent Space Relocation},
  author = {Yuxuan Duan and Li Niu and Yan Hong and Liqing Zhang},
  journal= {arXiv preprint arXiv:2305.06671},
  year   = {2024}
}

备注

AAAI 2024, see Appendix for update notes of this version