SCONE-GAN：基于语义对比学习的生成对抗网络用于端到端图像翻译
计算机视觉与模式识别
2023-11-08 v1
摘要
SCONE-GAN提出了一种端到端图像翻译方法，被证明能有效学习生成真实且多样的风景图像。当前大多数图像到图像翻译方法被设计为两个映射：从源域到目标域的翻译以及表示其逆过程的另一映射。尽管在许多应用中取得成功，这些方法可能受制于生成多样性有限的平凡解。这是因为这些方法学习更频繁的关联而非场景结构。为缓解该问题，我们提出SCONE-GAN，其利用图卷积网络学习物体依赖关系，在将图像迁移至目标域的同时保持图像结构并保留其语义。为生成更真实多样的图像，我们引入风格参考图像。我们强制模型最大化风格图像与输出之间的互信息。所提方法显式最大化相关图像块之间的互信息，从而鼓励生成器产生更多样化的图像。我们在图像到图像翻译和室外图像风格化上验证了所提算法。定性与定量结果均证明了我们的方法在四个数据集上的有效性。
引用
@article{arxiv.2311.03866,
title = {SCONE-GAN: Semantic Contrastive learning-based Generative Adversarial Network for an end-to-end image translation},
author = {Iman Abbasnejad and Fabio Zambetta and Flora Salim and Timothy Wiley and Jeffrey Chan and Russell Gallagher and Ehsan Abbasnejad},
journal= {arXiv preprint arXiv:2311.03866},
year = {2023}
}
备注
9 pages, 5 figures