PG-VTON：一种基于渐进式推理范式的图像虚拟试穿新方法
计算机视觉与模式识别
2023-12-06 v2
摘要
虚拟试穿是一个具有较高商业价值的计算机视觉热门方向，其目标是将新衣物以照片级真实感效果视觉穿戴于人身上。以往研究在单一阶段同时进行形状与内容推理，采用单尺度扭曲机制以及相对简单的内容推理机制，在复杂试穿场景下导致衣物扭曲与皮肤保留效果欠佳。为克服这些局限，我们提出一种基于渐进式推理范式（PGVTON）的新型虚拟试穿方法，利用自顶向下的推理流程与通用衣物试穿策略。具体而言，我们通过解耦语义类别并引入一致性，提出一种鲁棒的试穿解析推理方法。以试穿解析作为形状引导，我们通过扭曲-映射-合成实现衣物试穿。为适配广泛试穿场景，我们采用“覆盖更多、择一扭曲”的扭曲策略，并基于对齐显式区分任务。此外，我们以目标皮肤形状与空间无关皮肤特征为条件，调控 StyleGAN2 实现重新裸露皮肤修复。实验表明，我们的方法在两种挑战性场景下均达到最先进（SOTA）性能。代码将发布于 https://github.com/NerdFNY/PGVTON。
引用
@article{arxiv.2304.08956,
title = {PG-VTON: A Novel Image-Based Virtual Try-On Method via Progressive Inference Paradigm},
author = {Naiyu Fang and Lemiao Qiu and Shuyou Zhang and Zili Wang and Kerui Hu},
journal= {arXiv preprint arXiv:2304.08956},
year = {2023}
}