使用改进扩散模型变体实现高效且身份一致的虚拟试穿
计算机视觉与模式识别
2024-07-18 v3
摘要
本研究讨论了当代电子商务和未来元宇宙中虚拟试穿的关键问题，强调了在各种场景（如服装纹理和纹身或配饰等身份特征）中保留目标人物和服装的复杂纹理细节及独特特征所面临的挑战。除了合成图像的保真度外，合成过程的效率也是一个重大障碍。本文探讨了各种现有方法，突出了其局限性和未解决的问题，例如身份信息遗漏、不可控的伪影以及合成速度低。随后，我们提出了一种基于扩散的新型解决方案，旨在解决虚拟试穿过程中的服装纹理保留和用户身份保持问题。所提出的网络包含两个主要模块：一个将服装与个人特征对齐的变形模块，以及一个细化服装并生成缺失部分的试穿模块，后者结合了感知掩膜的后处理技术以确保个人身份的完整性。该模型展示了令人印象深刻的结果，在推理速度上比最先进的方法快了近 20 倍，且在定性评估中具有更优越的保真度。定量评估证实，其在 VITON-HD 和 Dresscode 数据集上的性能与最近的 SOTA 方法相当。我们将我们的模型命名为 Fast and Identity Preservation Virtual TryON (FIP-VITON)。
引用
@article{arxiv.2403.07371,
title = {Time-Efficient and Identity-Consistent Virtual Try-On Using A Variant of Altered Diffusion Models},
author = {Phuong Dam and Jihoon Jeong and Anh Tran and Daeyoung Kim},
journal= {arXiv preprint arXiv:2403.07371},
year = {2024}
}