基于条件生成对抗网络的语言驱动图像编辑的双线性表示
计算机视觉与模式识别
2019-11-15 v1
摘要
语言驱动图像编辑（LBIE）任务旨在根据给定的语言描述对源图像进行编辑以生成目标图像。LBIE 的主要挑战在于解耦图像与文本中的语义，并将其组合以生成逼真的图像。因此，编辑性能严重依赖于所学到的表示。本工作中，条件生成对抗网络（cGAN）被用于 LBIE。我们发现 cGAN 中现有的条件化方法缺乏表示能力，因为它们无法学习两个条件向量之间的二阶相关性。为解决该问题，我们提出了一种改进的条件层，称为双线性残差层（BRL），以学习用于 LBIE 任务的更强大的表示。定性与定量比较表明，与以往的 LBIE 技术相比，我们的方法能生成更高质量的图像。
引用
@article{arxiv.1903.07499,
title = {Bilinear Representation for Language-based Image Editing Using Conditional Generative Adversarial Networks},
author = {Xiaofeng Mao and Yuefeng Chen and Yuhong Li and Tao Xiong and Yuan He and Hui Xue},
journal= {arXiv preprint arXiv:1903.07499},
year = {2019}
}
备注
To appear at ICASSP 2019. Implementation: https://github.com/vtddggg/BilinearGAN_for_LBIE