BooW-VTON: 通过掩码无关伪数据训练提升野外虚拟试穿
计算机视觉与模式识别
2024-11-25 v2
摘要
基于图像的虚拟试穿是一项日益流行且重要的任务，旨在生成特定人物逼真的试穿图像。近期方法将虚拟试穿建模为图像掩码修复任务，这需要对人物图像进行掩码处理，从而导致大量空间信息丢失。特别是，对于具有复杂姿态和遮挡的野外试穿场景，基于掩码的方法常常引入明显的伪影。本研究发现，掩码无关的方法可以充分利用原始人物图像的空间和光照信息，从而实现高质量的虚拟试穿。因此，本文提出了一种掩码无关试穿扩散模型的新训练范式。通过创建高质量伪数据确保模型的掩码无关试穿能力，并通过有效的野外数据增强进一步增强其对复杂空间信息的处理能力。此外，设计了试穿定位损失以集中于试穿区域，同时抑制非试穿区域中的服装特征，确保服装的精确渲染以及前景/背景的保留。最终，本文提出了BooW-VTON——一种掩码无关的虚拟试穿扩散模型，在无需解析成本的情况下实现了SOTA试穿质量。广泛的定性和定量实验证明了该方法在野外场景中的优越性能以及如此低要求的输入。
引用
@article{arxiv.2408.06047,
title = {BooW-VTON: Boosting In-the-Wild Virtual Try-On via Mask-Free Pseudo Data Training},
author = {Xuanpu Zhang and Dan Song and Pengxin Zhan and Tianyu Chang and Jianhao Zeng and Qingguo Chen and Weihua Luo and Anan Liu},
journal= {arXiv preprint arXiv:2408.06047},
year = {2024}
}