LGVTON：一种基于关键点引导的虚拟试穿方法

在本文中，我们提出了一种用于衣物的关键点引导虚拟试穿（LGVTON）方法，旨在解决电子商务网站上的试衣问题。给定两个人的图像：一个普通人和一个模特，它生成该普通人穿着模特衣物的渲染图像。考虑到大多数电子商务网站上通常仅有衣物图像而无人像这一事实，此方法是实用的。我们采用三阶段方法实现目标。在第一阶段，LGVTON 使用基于薄板样条（TPS）的变换对模特的衣物进行扭曲以贴合该普通人。与先前基于 TPS 的方法不同，我们利用（人体和衣物的）关键点来计算 TPS 变换。这使得扭曲能够独立于衣物上存在的复杂图案（如条纹、花卉和纹理）进行。然而，该计算出的扭曲可能并不总是非常精确。因此，我们在后续阶段借助掩码生成器（阶段 2）和图像合成器（阶段 3）模块进一步细化。掩码生成器改善扭曲衣物的贴合度，图像合成器确保输出逼真。为解决缺乏成对训练数据的问题，我们采用自监督训练策略。此处成对数据指穿着同一衣物的模特与人的图像对。我们在两个流行时尚数据集 MPV 和 DeepFashion 上，使用 FID（Fréchet Inception Distance）和 SSIM（Structural Similarity Index）两种性能指标，将 LGVTON 与四种现有方法进行比较。所提方法在大多数情况下优于 SOTA 方法。