用于文本到图像合成的循环一致逆GAN
计算机视觉与模式识别
2021-09-14 v2
摘要
本文研究文本到图像合成这一开放研究任务，即从文本描述自动生成或操作图像。现有方法主要将文本作为GAN生成的条件，并为文本引导的图像生成和操作任务训练不同的模型。在本文中，我们提出了一种新颖的统一框架——循环一致逆GAN（CI-GAN），用于文本到图像生成和文本引导的图像操作任务。具体来说，我们首先训练一个无需文本输入的GAN模型，旨在生成具有高多样性和质量的图像。然后，我们学习一个GAN逆模型，将图像转换回GAN潜在空间，并获得每张图像的逆潜在编码，其中我们引入循环一致性训练以学习更鲁棒和一致的逆潜在编码。我们进一步通过学习文本表示与潜在编码之间的相似性模型，揭示训练好的GAN模型的潜在空间语义。在文本引导的优化模块中，我们通过优化逆潜在编码生成具有所需语义属性的图像。在Recipe1M和CUB数据集上的大量实验验证了我们提出框架的有效性。
引用
@article{arxiv.2108.01361,
title = {Cycle-Consistent Inverse GAN for Text-to-Image Synthesis},
author = {Hao Wang and Guosheng Lin and Steven C. H. Hoi and Chunyan Miao},
journal= {arXiv preprint arXiv:2108.01361},
year = {2021}
}
备注
Accepted at ACM MM 2021