WarpDiffusion: 面向高保真虚拟试穿的高效扩散模型
计算机视觉与模式识别
2023-12-07 v1
摘要
基于图像的虚拟试穿 (VITON) 旨在将店内服装图像转移到目标人物身上。虽然现有方法侧重于对服装进行扭曲以适应身体姿态，但它们往往忽略了服装-皮肤边界周围的合成质量以及扭曲服装上的皱纹和阴影等真实效果。这些局限性大大降低了生成结果的真实感，并阻碍了 VITON 技术的实际应用。利用基于扩散模型在跨模态图像合成方面的显著成功，一些最近的基于扩散的方法尝试解决这一问题。然而，它们往往要么消耗大量的训练资源，要么难以实现真实的试穿效果并保留服装细节。为了实现高效且高保真的 VITON，我们提出了 WarpDiffusion，它通过一种新颖的、信息丰富的局部服装特征注意力机制，将基于扭曲和基于扩散的范式连接起来。具体而言，WarpDiffusion 结合了局部纹理注意力以减少资源消耗，并使用了一种新颖的自动掩码模块，该模块有效地仅保留扭曲服装的关键区域，同时忽略不真实或错误的部分。值得注意的是，WarpDiffusion 可以作为即插即用组件集成到现有的 VITON 方法中，提升其合成质量。在高分辨率 VITON 基准和野外测试集上的大量实验证明了 WarpDiffusion 的优越性，在定性和定量上均超越了现有最先进的方法。
引用
@article{arxiv.2312.03667,
title = {WarpDiffusion: Efficient Diffusion Model for High-Fidelity Virtual Try-on},
author = {xujie zhang and Xiu Li and Michael Kampffmeyer and Xin Dong and Zhenyu Xie and Feida Zhu and Haoye Dong and Xiaodan Liang},
journal= {arXiv preprint arXiv:2312.03667},
year = {2023}
}