PFDM：基于扩散模型的无解析器虚拟试穿
计算机视觉与模式识别
2024-02-06 v1 机器学习
摘要
虚拟试穿可以显著改善线上和线下场景中的服装购物体验，引起了计算机视觉领域的广泛兴趣。然而，为了实现高保真度的试穿性能，大多数最先进 (state-of-the-art) 的方法仍然依赖于准确的分割掩码，这些掩码通常由近乎完美的解析器 (parsers) 或人工标注产生。为了克服这一瓶颈，我们提出了一种基于扩散模型 (diffusion model) 的无解析器虚拟试穿方法 (PFDM)。给定两张图像，PFDM 可以通过隐式变形，在无需任何其他信息的情况下，无缝地将服装“穿”在目标人物身上。为了有效地学习该模型，我们合成了许多伪图像，并通过将各种服装穿在人物身上来构建样本对。在大规模扩展数据集的监督下，我们利用提出的服装融合注意力 (Garment Fusion Attention, GFA) 机制融合人物和服装特征。实验表明，我们提出的 PFDM 能够成功处理复杂情况，合成高保真图像，并且优于最先进的无解析器和基于解析器的模型。
引用
@article{arxiv.2402.03047,
title = {PFDM: Parser-Free Virtual Try-on via Diffusion Model},
author = {Yunfang Niu and Dong Yi and Lingxiang Wu and Zhiwei Liu and Pengxiang Cai and Jinqiao Wang},
journal= {arXiv preprint arXiv:2402.03047},
year = {2024}
}
备注
Accepted by IEEE ICASSP 2024