用于无监督图像到图像翻译的注意力引导生成对抗网络
计算机视觉与模式识别
2019-08-29 v3
摘要
生成对抗网络(GANs)的先进方法能够利用非配对图像数据学习从一个图像域到另一个图像域的映射函数。然而，这些方法常产生伪影，且只能转换低层信息，无法迁移图像的高层语义部分。主要原因在于生成器不具备检测图像最具判别性语义部分的能力，从而导致生成图像质量低下。为应对该局限，本文提出一种新颖的注意力引导生成对抗网络(Attention-Guided Generative Adversarial Network, AGGAN)，它可在无需额外数据与模型的情况下，检测最具判别性的语义对象并最小化不期望部分的变化，以处理语义操控问题。AGGAN中的注意力引导生成器能通过内置注意力机制产生注意力掩码，并将输入图像与注意力掩码融合以获得高质量目标图像。此外，我们提出一种仅关注被注意区域的新型注意力引导判别器。所提AGGAN以端到端方式通过对抗损失、循环一致性损失、像素损失与注意力损失进行训练。定性与定量结果均表明，我们的方法比现有模型更有效地生成更清晰、更准确的图像。代码见https://github.com/Ha0Tang/AttentionGAN。
引用
@article{arxiv.1903.12296,
title = {Attention-Guided Generative Adversarial Networks for Unsupervised Image-to-Image Translation},
author = {Hao Tang and Dan Xu and Nicu Sebe and Yan Yan},
journal= {arXiv preprint arXiv:1903.12296},
year = {2019}
}
备注
8 pages, 7 figures, Accepted to IJCNN 2019