通过结构判别与纹理调制改进少样本图像生成

少样本图像生成旨在给定某类别少量图像的情况下生成合理且多样的图像，已引起广泛关注。现有方法要么全局插值不同图像，要么以预定义系数融合局部表示。然而，这种直观的图像/特征组合仅利用了最相关的生成信息，导致多样性差且语义融合粗粒度。为此，本文提出一种新颖的纹理调制（TexMod）机制，将外部语义信号注入内部局部表示。我们的TexMod由判别器的反馈参数化，能够在保持合成保真度的同时实现更细粒度的语义注入。此外，开发了全局结构判别器（StructD）以显式引导模型生成具有合理布局与轮廓的图像。进一步，通过鼓励模型区分频率信号来增强其频率感知能力。结合这些技术，我们构建了一个新颖且有效的少样本图像生成模型。在三个流行数据集及多种设置上的大量实验验证了模型的有效性。除在这些数据集上取得最先进的合成性能外，我们所提出的技术还可无缝集成到现有模型中以进一步提升性能。