用于高保真虚拟试穿的保纹理扩散模型

基于图像的虚拟试穿是网购中日益重要的任务。它旨在合成特定人物穿着指定服装的图像。基于扩散模型的方法最近变得流行，因为它们在图像合成任务中表现出色。然而，这些方法通常采用额外的图像编码器，并依赖交叉注意力机制将纹理从服装转移到人物图像，这影响了试穿的效率和保真度。为了解决这些问题，我们提出了一种用于虚拟试穿的保纹理扩散（TPD）模型，该模型提高了结果的保真度，并且不引入额外的图像编码器。因此，我们从两个方面做出了贡献。首先，我们提议沿空间维度将掩蔽的人物图像和参考服装图像连接起来，并将生成的图像用作扩散模型去噪 UNet 的输入。这使得扩散模型中包含的原始自注意力层能够实现高效且准确的纹理转移。其次，我们提出了一种新颖的基于扩散的方法，该方法基于人物和参考服装图像预测精确的修复掩码，进一步增强了试穿结果的可靠性。此外，我们将掩码预测和图像合成集成到一个紧凑的单一模型中。实验结果表明，我们的方法可以应用于各种试穿任务，例如服装到人物和人物到人物的试穿，并且在流行的 VITON、VITON-HD 数据库上显著优于 SOTA 方法。