处理错位与遮挡条件的高分辨率虚拟试穿
计算机视觉与模式识别
2022-07-21 v2 人工智能
摘要
基于图像的虚拟试穿旨在合成一个人穿着给定服装的图像。为解决该任务，现有方法将服装扭曲以贴合人体，并在将服装与人融合之前生成人穿着该服装的分割图。然而，当扭曲与分割生成阶段各自独立、无信息交换地运作时，会发生扭曲后服装与分割图之间的错位，从而导致最终图像中的伪影。这种信息断连还会引起被身体部位遮挡的服装区域附近过度扭曲，即所谓的像素挤压伪影。为解决这些问题，我们提出一种新颖的试穿条件生成器，作为两个阶段（即扭曲与分割生成阶段）的统一模块。该条件生成器中新提出的特征融合块实现了信息交换，且条件生成器不产生任何错位或像素挤压伪影。我们还引入判别器拒绝机制，过滤掉不正确的分割图预测，从而保证虚拟试穿框架的性能。在高分辨率数据集上的实验表明，我们的模型成功处理了错位与遮挡，并显著优于基线方法。代码见 https://github.com/sangyun884/HR-VITON。
引用
@article{arxiv.2206.14180,
title = {High-Resolution Virtual Try-On with Misalignment and Occlusion-Handled Conditions},
author = {Sangyun Lee and Gyojung Gu and Sunghyun Park and Seunghwan Choi and Jaegul Choo},
journal= {arXiv preprint arXiv:2206.14180},
year = {2022}
}
备注
Accepted to ECCV 2022