从设计草图到真实服饰：非对齐时尚图像翻译

时尚操控因其巨大的应用价值而受到越来越多的关注，这也激发了诸多面向时尚图像的研究。然而，针对时尚设计草图的研究甚少。本文中，我们研究设计草图与真实时尚物品之间的一种新的非对齐翻译问题，其主要挑战在于两种模态间的巨大错位。我们首先收集了成对的、无像素级对齐的设计草图与真实时尚物品图像。为解决错位问题，我们的核心思想是训练一个采样网络，自适应地将输入调整为与输出结构对齐的中间状态。此外，基于该采样网络，我们提出了设计草图到真实时尚物品翻译网络（D2RNet），其中两条分别关注纹理与形状的独立翻译流被巧妙结合以兼得二者优势。D2RNet 能够生成与其设计草图在纹理和形状上均一致的逼真服装。我们展示了该思路可有效应用于逆向翻译问题，并相应提出了 R2DNet。在非对齐时尚设计翻译上的大量实验证明了我们的方法优于当前最先进的方法。我们的项目网站位于：https://victoriahy.github.io/MM2020/ 。