中文

SPA-GAN:用于图像到图像翻译的空间注意力 GAN

计算机视觉与模式识别 2021-01-01 v3

摘要

图像到图像翻译旨在学习源域图像与目标域图像之间的映射。本文中,我们将注意力机制直接引入生成对抗网络 (GAN) 架构,并提出一种新颖的空间注意力 GAN 模型 (SPA-GAN) 用于图像到图像翻译任务。SPA-GAN 在其判别器中计算注意力,并利用它帮助生成器更关注源域与目标域之间最具判别性的区域,从而生成更真实的输出图像。我们还发现,在 SPA-GAN 训练中引入额外的特征图损失有助于在翻译过程中保留特定域特征。与现有的注意力引导 GAN 模型相比,SPA-GAN 是一个轻量级模型,不需要额外的注意力网络或监督。在基准数据集上与最先进方法的定性和定量比较证明了 SPA-GAN 的优越性能。

关键词

引用

@article{arxiv.1908.06616,
  title  = {SPA-GAN: Spatial Attention GAN for Image-to-Image Translation},
  author = {Hajar Emami and Majid Moradi Aliabadi and Ming Dong and Ratna Babu Chinnam},
  journal= {arXiv preprint arXiv:1908.06616},
  year   = {2021}
}

备注

IEEE Transactions on Multimedia, Digital Object Identifier: 10.1109/TMM.2020.2975961