具有形状控制和纹理引导的两阶段个性化虚拟试穿框架
计算机视觉与模式识别
2023-12-27 v1
摘要
扩散模型具有很强的生成野生图像的能力。然而，该模型在文本引导下只能生成不准确的图像，这使得直接应用文本引导的生成模型进行虚拟试穿场景非常具有挑战性。本文以图像作为扩散模型的引导条件，提出了一种全新的个性化虚拟试穿模型(PE-VITON)，该模型使用两个阶段（形状控制和纹理引导）来解耦服装属性。具体而言，所提出的模型通过形状控制模块(SCM)自适应地将服装与人体部位匹配，以缓解服装与人体部位的对齐不良。通过纹理引导模块(TGM)解析输入服装的语义信息，并通过方向引导生成相应的纹理。因此，该模型可以有效解决传统试穿方法中服装褶皱还原度弱、复杂人体姿态下生成效果差、服装边缘模糊以及纹理风格不清晰等问题。同时，该模型可以根据人体姿态自动增强生成的服装褶皱和纹理，提高虚拟试穿的真实性。本文在高分辨率配对和非配对数据集上进行了定性和定量实验，结果表明所提出的模型优于最先进的模型。
引用
@article{arxiv.2312.15480,
title = {A Two-stage Personalized Virtual Try-on Framework with Shape Control and Texture Guidance},
author = {Shufang Zhang and Minxue Ni and Lei Wang and Wenxin Ding and Shuai Chen and Yuhong Liu},
journal= {arXiv preprint arXiv:2312.15480},
year = {2023}
}