基于双侧注意力条件生成对抗网络的自然语言图像操控
计算机视觉与模式识别
2019-12-17 v1 计算与语言
机器学习
摘要
使用照片编辑工具更改图像内容对缺乏经验的用户而言是一项繁琐的任务。尤其是在修改图像中特定对象的视觉属性而不影响背景等其他成分时。为了简化图像操控过程并为用户提供更多控制，采用如自然语言这样更简单的接口更为可取。因此，本文致力于解决利用自然语言描述操控图像的挑战。我们提出了双侧注意力条件生成对抗网络（TEA-cGAN），以生成语义被操控的图像，同时保持背景等其他内容完好无损。TEA-cGAN 在基于生成对抗网络（GAN）的框架中，于生成器和判别器上在不同尺度使用细粒度注意力。实验结果表明，生成 128x128 与 256x256 分辨率图像的 TEA-cGAN 在 CUB 和 Oxford-102 数据集上于定量与定性方面均优于现有方法。
引用
@article{arxiv.1912.07478,
title = {Image Manipulation with Natural Language using Two-sidedAttentive Conditional Generative Adversarial Network},
author = {Dawei Zhu and Aditya Mogadala and Dietrich Klakow},
journal= {arXiv preprint arXiv:1912.07478},
year = {2019}
}
备注
Submitted to Journal