更合身：适应虚拟试衣中服装类型的变化
计算机视觉与模式识别
2024-09-24 v2
摘要
基于图像的虚拟试衣旨在将目标店铺服装转移到穿着模特图像上，其目标包括完全去除原有服装同时保留试衣区域之外的内容、自然穿着目标服装以及正确修补目标服装与原有服装之间的间隙。尽管已有大量努力推动这一热门研究领域的发展，但无法在受原有服装影响的试衣区域保持目标服装的类型。在本文中，我们关注目标服装与模特身上原有服装不同的非配对虚拟试衣情况，即实际应用场景。为了打破试衣区域与原有服装之间的关联，并使模型学习正确的信息进行修补，我们提出了一种自适应掩码训练范式，该范式动态调整训练掩码。它不仅改善了服装的对齐和合身度，还显著增强了虚拟试衣体验的保真度。此外，我们首次为非配对试衣评估提出了两个指标：语义稠密姿态比（SDR）和骨架-LPIPS（S-LPIPS），用于评估服装类型的正确性和服装纹理的准确性。为了进行非配对试衣验证，我们构建了一个包含独特服装款式和模特体型的综合交叉试衣基准（Cross-27），覆盖了广泛的试衣场景。实验证明了所提方法的有效性，为虚拟试衣技术的进步做出了贡献，并为该领域的未来研究提供了新的见解和工具。代码、模型和基准将公开发布。
引用
@article{arxiv.2403.08453,
title = {Better Fit: Accommodate Variations in Clothing Types for Virtual Try-on},
author = {Dan Song and Xuanpu Zhang and Jianhao Zeng and Pengxin Zhan and Qingguo Chen and Weihua Luo and An-An Liu},
journal= {arXiv preprint arXiv:2403.08453},
year = {2024}
}