利用 StyleGAN 先验的少样本语义图像合成
计算机视觉与模式识别
2021-05-13 v2 图形学
摘要
本文解决一个具有挑战性的问题：在少样本场景下从语义布局生成逼真图像，其中带标注的训练对难以获取且像素级标注成本高昂。我们提出一种训练策略，利用 StyleGAN 先验对语义掩码进行伪标注。我们的核心思想是从少量语义掩码样本中构建 StyleGAN 特征与每个语义类之间的简单映射。借助这些映射，我们可以从随机噪声生成无限数量的伪语义掩码，用于训练一个编码器以控制预训练的 StyleGAN 生成器。尽管伪语义掩码可能过于粗糙而不适用于需要像素对齐掩码的方法，我们的框架不仅能从稠密语义掩码，还能从稀疏输入（如关键点和涂鸦）合成高质量图像。在多个数据集上的定性和定量结果表明，在少至单样本或五样本的设置下，相对于先前方法在布局保真度和视觉质量上均有提升。
引用
@article{arxiv.2103.14877,
title = {Few-shot Semantic Image Synthesis Using StyleGAN Prior},
author = {Yuki Endo and Yoshihiro Kanamori},
journal= {arXiv preprint arXiv:2103.14877},
year = {2021}
}
备注
The source codes are available at https://github.com/endo-yuki-t/Fewshot-SMIS