基于渐进服装变形的 limb-aware 虚拟试穿网络

图像基虚拟试穿旨在将店内服装图像传递到人物图像上。大多数现有方法采用单一的全局变形直接进行服装变形，这缺乏对店内服装的细粒度建模，导致服装外观失真。此外，现有方法通常无法很好地生成 limb 细节，因为它们受限于所使用的服装中性人物表示，未能参考人物图像中 limb 的纹理。为了解决这些问题，我们提出了名为 PL-VTON 的 Limb-aware 虚拟试穿网络，通过渐进式细粒度服装变形来实现高质量试穿结果，并生成逼真的 limb 细节。具体而言，我们提出了渐进式服装变形 (Progressive Clothing Warping, PCW)，显式建模店内服装的位置和大小，并利用两阶段对齐策略逐渐对齐店内服装与人体。此外，我们采用一种考虑人物穿衣合身度的引力感知损失，以更好地处理服装边缘。然后，我们设计了 Person Parsing Estimator (PPE)，使用非 limb 目标解析图将人物语义地分为 various 区域，这提供了对人体结构的约束，从而减轻服装和 body 区域之间的纹理泄漏。最后，我们引入 Limb-aware Texture Fusion (LTF)，聚焦于生成 limb 区域的逼真细节，其中先通过将变形后的服装图像与人物图像融合生成粗糙的试穿结果，然后在 limb-aware 指导下将 limb 纹理进一步融合到粗糙结果中，以细化 limb 细节。广泛的实验表明，我们的 PL-VTON 在定性和定量上均优于最新的方法。