基于边缘引导与多尺度对比学习的 GAN 用于语义图像合成
计算机视觉与模式识别
2023-07-25 v1
摘要
我们针对具有挑战性的语义图像合成任务提出了一种新颖的 ECGAN。尽管近期学界已取得显著进展，但由于三个尚未解决的重大挑战，合成图像的质量仍远不能令人满意。1) 语义标签不提供详细的结构信息，使得合成局部细节与结构十分困难；2) 广泛采用的 CNN 操作（如卷积、下采样和归一化）通常导致空间分辨率损失，因而无法完全保留原始语义信息，造成语义不一致的结果（例如缺失小物体）；3) 现有语义图像合成方法侧重于从单一输入语义布局建模“局部”语义信息，却忽略了多个输入语义布局的“全局”语义信息，即不同输入布局间像素的语义交叉关系。为应对 1)，我们提出将边缘作为中间表示，并通过所提出的注意力引导边缘迁移模块进一步用于引导图像生成。为应对 2)，我们设计了一个有效模块，根据原始语义布局选择性地突出与类别相关的特征图以保留语义信息。为应对 3)，受当前对比学习方法启发，我们提出一种新颖的对比学习方法，旨在使属于同一语义类的像素嵌入比来自不同类的像素嵌入生成更相似的图像内容。我们进一步提出一种新颖的多尺度对比学习方法，旨在通过显式探索来自不同尺度的多个输入语义布局中带标签像素的结构，将不同尺度的同类特征拉得更近，从而能够捕获更多语义关系。
引用
@article{arxiv.2307.12084,
title = {Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis},
author = {Hao Tang and Guolei Sun and Nicu Sebe and Luc Van Gool},
journal= {arXiv preprint arXiv:2307.12084},
year = {2023}
}
备注
Accepted to TPAMI, an extended version of a paper published in ICLR2023. arXiv admin note: substantial text overlap with arXiv:2003.13898