M2E-Try On Net: 从模特到每个人的时尚虚拟试穿网络
计算机视觉与模式识别
2019-08-08 v3
摘要
大多数现有的虚拟试穿应用需要干净的衣物图像。相反，我们提出一种新颖的虚拟试穿网络 M2E-Try On Net，它将衣物从模特图像转移到人物图像，而无需任何干净的商品图像。为获得穿着所需模特衣物的逼真人物图像，我们旨在解决以下挑战：1）衣物的非刚性本质——我们需要对齐模特与用户间的姿态；2）时尚物品的纹理丰富性——保留衣物的精细细节与特征对照片级真实感转移至关重要；3）身份外观的多样性——需要将所需模特衣物无缝贴合到人物身份上。为应对这些挑战，我们引入三个关键组件，包括姿态对齐网络（PAN）、纹理精炼网络（TRN）和贴合网络（FTN）。由于不太可能收集到输入人物图像与期望输出图像（即穿着所需衣物的人物）的图像对，我们的框架以自监督方式训练，逐步将模特衣物的姿态与纹理转移到期望外观上。在实验中，我们在 Deep Fashion 数据集和 MVC 数据集上验证，我们的方法能为人物试穿模特衣物生成照片级真实感图像。此外，我们探索了模型对不同时尚物品（包括上装和下装）的能力。
引用
@article{arxiv.1811.08599,
title = {M2E-Try On Net: Fashion from Model to Everyone},
author = {Zhonghua Wu and Guosheng Lin and Qingyi Tao and Jianfei Cai},
journal= {arXiv preprint arXiv:1811.08599},
year = {2019}
}