基于注意力循环神经网络的文本到图像生成
计算机视觉与模式识别
2020-01-22 v1
摘要
基于文本描述的条件图像建模是无监督学习中一个相对较新的领域。先前方法使用潜变量模型与生成对抗网络。前者通过变分自编码器近似并依赖难以处理的推断，这会妨碍其性能；后者由于基于纳什均衡的目标函数而训练不稳定。我们开发了一种可处理且稳定的基于描述的生成图像模型。该模型使用基于注意力的编码器学习词到像素的依赖关系。基于条件自回归的解码器用于学习像素到像素的依赖关系并生成图像。实验在 Microsoft COCO 与 MNIST-with-captions 数据集上进行，并使用结构相似性指数评估性能。结果表明所提模型优于同期方法并生成更高质量图像。关键词：生成图像建模，自回归图像建模，基于描述的生成图像，神经注意力，循环神经网络。
引用
@article{arxiv.2001.06658,
title = {Text-to-Image Generation with Attention Based Recurrent Neural Networks},
author = {Tehseen Zia and Shahan Arif and Shakeeb Murtaza and Mirza Ahsan Ullah},
journal= {arXiv preprint arXiv:2001.06658},
year = {2020}
}