利用外观流驯服扩散模型以实现高质量虚拟试穿
计算机视觉与模式识别
2023-08-14 v1
摘要
虚拟试穿是一项关键的图像合成任务，旨在将衣物从一张图像转移到另一张图像，同时保留人体与衣物的细节。尽管许多现有方法依赖生成对抗网络（GAN）来实现这一点，但仍可能出现瑕疵，尤其在高分辨率下。近来，扩散模型已成为各种应用中生成高质量图像的一种有前景的替代方案。然而，仅将衣物作为引导扩散模型进行修复的条件，不足以保持衣物的细节。为克服这一挑战，我们提出了一种基于范例的修复方法，利用一个扭曲模块来有效引导扩散模型的生成。该扭曲模块对衣物进行初始处理，有助于保留衣物的局部细节。随后我们将扭曲后的衣物与无关衣物的行人图像结合，并加入噪声作为扩散模型的输入。此外，扭曲后的衣物被用作每次去噪过程的局部条件，以确保输出结果尽可能保留细节。我们的方法，即基于扩散的条件修复虚拟试穿（DCI-VTON），有效利用了扩散模型的能力，而扭曲模块的引入有助于产生高质量且逼真的虚拟试穿结果。在VITON-HD上的实验结果证明了我们方法的有效性与优越性。
引用
@article{arxiv.2308.06101,
title = {Taming the Power of Diffusion Models for High-Quality Virtual Try-On with Appearance Flow},
author = {Junhong Gou and Siyu Sun and Jianfu Zhang and Jianlou Si and Chen Qian and Liqing Zhang},
journal= {arXiv preprint arXiv:2308.06101},
year = {2023}
}
备注
Accepted by ACMMM 2023