学习绘制什么与绘制何处
计算机视觉与模式识别
2016-10-11 v1 神经与进化计算
摘要
生成对抗网络（GANs）最近展示了合成逼真现实世界图像的能力，例如房间内部、专辑封面、漫画、人脸、鸟类和花卉。虽然现有模型可以基于全局约束（如类别标签或文字说明）合成图像，但它们无法提供对姿态或物体位置的控制。我们提出了一种新模型，即生成对抗什么-何处网络（GAWWN），该模型根据描述在哪个位置绘制什么内容的指令来合成图像。我们在Caltech-UCSD鸟类数据集上展示了高质量的128 x 128图像合成，条件同时基于非正式文本描述和物体位置。我们的系统提供了对鸟类边界框及其组成部分的控制。通过对部件位置的条件分布进行建模，我们的系统还能够以任意部件子集（例如仅喙和尾）为条件，从而为选取部件位置提供了一个高效的接口。我们还展示了在更具挑战性的MPII人体姿态数据集上，对文本和位置可控的人体动作图像合成的初步结果。
引用
@article{arxiv.1610.02454,
title = {Learning What and Where to Draw},
author = {Scott Reed and Zeynep Akata and Santosh Mohan and Samuel Tenka and Bernt Schiele and Honglak Lee},
journal= {arXiv preprint arXiv:1610.02454},
year = {2016}
}
备注
In NIPS 2016