AttentionGAN：基于注意力引导生成对抗网络的非配对图像到图像翻译
计算机视觉与模式识别
2021-08-17 v5 机器学习
图像与视频处理
摘要
当前最先进的图像到图像翻译方法能够利用非配对图像数据学习从源域到目标域的映射。尽管现有方法已取得令人鼓舞的结果，它们仍会产生视觉伪影，能够翻译输入图像的低级信息但无法翻译其高级语义。一个可能的原因是生成器不具备感知源域与目标域之间最具判别性部分的能力，从而导致生成图像质量低下。本文中，我们提出一种新的注意力引导生成对抗网络（AttentionGAN）用于非配对图像到图像翻译任务。AttentionGAN能够识别最具判别性的前景物体并最小化背景的变化。AttentionGAN中的注意力引导生成器能够生成注意力掩码，然后将生成输出与注意力掩码融合以获得高质量目标图像。相应地，我们还设计了一种仅考虑被关注区域的新型注意力引导判别器。我们在多个生成任务上使用八个公开数据集进行了大量实验，表明与现有竞争模型相比，所提方法能有效生成更清晰、更真实的图像。代码见 https://github.com/Ha0Tang/AttentionGAN。
引用
@article{arxiv.1911.11897,
title = {AttentionGAN: Unpaired Image-to-Image Translation using Attention-Guided Generative Adversarial Networks},
author = {Hao Tang and Hong Liu and Dan Xu and Philip H. S. Torr and Nicu Sebe},
journal= {arXiv preprint arXiv:1911.11897},
year = {2021}
}
备注
Accepted to TNNLS, an extended version of a paper published in IJCNN2019. arXiv admin note: substantial text overlap with arXiv:1903.12296