用于语义图像合成的边缘引导对比学习 GAN

我们针对极具挑战性的语义图像合成任务提出了一种新颖的 ECGAN。尽管已取得显著改进，但由于三个尚未解决的重大挑战，合成图像的质量仍远不能令人满意。1）语义标签不提供详细的结构信息，使得难以合成局部细节与结构。2）广泛采用的 CNN 操作如下采样与归一化通常导致空间分辨率损失，因而无法完全保留原始语义信息，导致语义不一致的结果。3）现有语义图像合成方法侧重于从单一输入语义布局建模局部语义信息。然而，它们忽略了多输入语义布局的全局语义信息，即跨不同输入布局的像素间语义交叉关系。为应对 1），我们提出将边缘用作中间表示，并进一步通过所提出的注意力引导边缘迁移模块来引导图像生成。边缘信息由卷积生成器产生并引入详细结构信息。为应对 2），我们设计了一个有效模块，根据原始语义布局选择性地高亮类相关特征图以保留语义信息。为应对 3），受当前对比学习方法启发，我们提出了一种新颖的对比学习方法，旨在强制属于同一语义类的像素嵌入比来自不同类的像素嵌入生成更相似的图像内容。如此可通过显式探索来自多输入语义布局的标注像素结构来捕获更多语义关系。在三个具挑战性数据集上的实验表明，我们的 ECGAN 取得了显著优于最先进方法的结果。