面向保特征的图像虚拟试穿网络
计算机视觉与模式识别
2018-09-13 v3
摘要
将新的在售服装拟合到人物图像上的基于图像的虚拟试穿系统已引起越来越多的研究关注,但仍具挑战性。一个理想的流程不仅应将目标服装无缝变换为最合身的形态,还应完好保留生成图像中的服装身份,即描绘原服装的关键特征(如纹理、徽标、刺绣)。然而,先前的图像条件生成工作未能满足这些朝向合理虚拟试穿性能的关键要求,因为它们无法处理输入图像与目标服装之间的大空间错位。已有工作利用形状上下文匹配显式处理空间形变,但因粗到细策略而未能保留服装细节。在本工作中,我们提出一种全新的全可学习保特征虚拟试穿网络(CP-VTON),以解决该任务中的所有现实挑战。首先,CP-VTON 通过学习薄板样条变换,经由一种新的几何匹配模块(GMM)将店内服装变换为贴合目标人物的体型,而非像先前工作那样计算兴趣点对应。其次,为减轻形变后服装的边界伪影并使结果更真实,我们采用一个试穿模块,学习合成掩码以整合形变后服装与渲染图像,从而保证平滑性。在时尚数据集上的大量实验表明,我们的 CP-VTON 在定性与定量上均达到了最先进的虚拟试穿性能。
引用
@article{arxiv.1807.07688,
title = {Toward Characteristic-Preserving Image-based Virtual Try-On Network},
author = {Bochao Wang and Huabin Zheng and Xiaodan Liang and Yimin Chen and Liang Lin and Meng Yang},
journal= {arXiv preprint arXiv:1807.07688},
year = {2018}
}
备注
Accepted by ECCV 2018