做你自己的普拉达：具有结构连贯性的时尚合成
计算机视觉与模式识别
2017-10-23 v1
摘要
我们提出了一种新颖且有效的方法，通过生成对抗学习在穿戴者身上生成新的服装。给定一张人物输入图像和一句描述不同服装的句子，我们的模型可以按需“换装”，同时保持穿戴者及其姿势不变。生成符合语言描述且具有精确区域的新服装，同时保留穿戴者的身体结构，是一项具有挑战性的新任务。现有的生成对抗网络在同时以输入照片和语言描述为条件时，难以确保全局结构的连贯性。我们通过将复杂的生成过程分解为两个条件阶段来应对这一挑战。在第一阶段，我们生成一个符合穿戴者姿势的合理语义分割图，作为潜在的空间布局。我们制定了一种有效的空间约束来指导该语义分割图的生成。在第二阶段，使用一个带有新提出的组合映射层的生成模型，以该语义分割图为条件，渲染出具有精确区域和纹理的最终图像。我们通过为79K张图像收集句子描述，扩展了DeepFashion数据集[8]。我们通过定量和定性评估证明了方法的有效性，并进行了用户研究。代码和数据可在http://mmlab.ie.cuhk.edu.hk/projects/FashionGAN/获取。
引用
@article{arxiv.1710.07346,
title = {Be Your Own Prada: Fashion Synthesis with Structural Coherence},
author = {Shizhan Zhu and Sanja Fidler and Raquel Urtasun and Dahua Lin and Chen Change Loy},
journal= {arXiv preprint arXiv:1710.07346},
year = {2017}
}
备注
This is the updated version of our original paper appeared in ICCV 2017 proceedings