面向多姿态引导的虚拟试穿网络
计算机视觉与模式识别
2019-03-01 v1
摘要
任意人体姿态下的虚拟试穿系统具有巨大的应用潜力,但也带来了诸多挑战,例如自遮挡、不同姿态间的严重错位以及多样的衣物纹理。现有将新衣物拟合到人体上的方法只能在固定人体姿态下迁移衣物,且性能仍不尽如人意,常常无法保持身份特征、丢失纹理细节并降低姿态多样性。本文首次尝试构建多姿态引导的虚拟试穿系统,其能够在不同姿态下将衣物迁移到人物图像上。给定一张输入人物图像、一张目标衣物图像和一个目标姿态,所提出的多姿态引导虚拟试穿网络(Multi-pose Guided Virtual Try-on Network, MG-VTON)可在将目标衣物拟合到输入图像并操控人体姿态后生成新的人物图像。我们的MG-VTON分三个阶段构建:1)合成目标图像的期望人体解析图,以同时匹配期望姿态与期望衣物形状;2)一个深度扭曲生成对抗网络(Warping Generative Adversarial Network, Warp-GAN)将目标衣物外观扭曲到合成的人体解析图中,并缓解输入人体姿态与期望人体姿态之间的错位问题;3)一个利用多姿态组合掩码的细化渲染器恢复衣物纹理细节并去除部分伪影。在知名数据集和我们新收集的最大虚拟试穿基准上的大量实验表明,我们的MG-VTON在定性与定量上均显著优于所有最先进(state-of-the-art, SOTA)方法,具有令人满意的多姿态虚拟试穿性能。
引用
@article{arxiv.1902.11026,
title = {Towards Multi-pose Guided Virtual Try-on Network},
author = {Haoye Dong and Xiaodan Liang and Bochao Wang and Hanjiang Lai and Jia Zhu and Jian Yin},
journal= {arXiv preprint arXiv:1902.11026},
year = {2019}
}
备注
11 pages, 10 figures