用于虚拟试穿的衣物交互 Transformer

基于二维图像的虚拟试穿因其巨大的商业价值，引起了多媒体与计算机视觉领域的日益关注。然而，大多数现有的基于图像的虚拟试穿方法直接组合人物身份表征与在售服装物品，而未考虑二者的相互关联。此外，这些方法通常建立在纯卷积神经网络（CNNs）架构上，难以捕捉输入像素间的长程关联，从而导致结果通常不一致。为缓解这些问题，本文提出一种新颖的两阶段衣物交互 Transformer（CIT）方法用于虚拟试穿任务。在第一阶段，我们设计了一个 CIT 匹配块，旨在精确捕捉无衣物人物信息与在售衣物信息之间的长程关联，从而使形变后的在售服装在外观上更自然。在第二阶段，我们提出一个 CIT 推理块，用于建立人物表征、形变衣物物品及相应形变衣物掩码之间的全局交互依赖。基于相互依赖的实证结果表明，最终试穿结果更为真实。在公开时尚数据集上的大量实证结果说明，所提出的 CIT 取得了具有竞争力的虚拟试穿性能。