用于可靠少样本图像生成的稳定属性组编辑
计算机视觉与模式识别
2023-02-02 v1
摘要
少样本图像生成旨在仅基于少量样本生成未见类别的数据。除基础内容生成外，诸多下游应用有望从此任务受益，如低数据检测与少样本分类。为实现该目标，所生成图像除视觉质量与多样性外，应保证类别保持以利于分类。在我们初步工作中，我们提出了一种“基于编辑”的框架——属性组编辑（AGE）用于可靠少样本图像生成，大幅提升了生成性能。然而，AGE在下游分类上的表现未如预期令人满意。本文研究了类不一致问题，并提出稳定属性组编辑（SAGE）以实现更稳定的类相关图像生成。SAGE利用所有给定少样本图像，并基于类别相关属性字典估计类中心嵌入。同时，根据在类别相关属性字典上的投影权重，我们可从相似已见类别中选取类别无关属性。因此，SAGE将新类的整体分布注入StyleGAN的潜空间，从而在很大程度上保持生成图像的类别保持与稳定性。进一步，我们发现类不一致是GAN生成图像用于下游分类时的普遍问题。即便生成图像看似照片真实且无需类别相关编辑，它们通常对下游分类助益有限。我们从生成模型与分类模型两个视角系统讨论了该问题，并提议通过增强像素与频率分量来提升SAGE的下游分类性能。
引用
@article{arxiv.2302.00179,
title = {Stable Attribute Group Editing for Reliable Few-shot Image Generation},
author = {Guanqi Ding and Xinzhe Han and Shuhui Wang and Xin Jin and Dandan Tu and Qingming Huang},
journal= {arXiv preprint arXiv:2302.00179},
year = {2023}
}