学习服装DensePose以实现虚拟试穿中的鲁棒变形
计算机视觉与模式识别
2023-04-03 v1
摘要
虚拟试穿，即让人虚拟地试穿新服装，是计算机视觉中一个具有巨大商业应用的研究热点。当前的虚拟试穿方法通常采用两阶段流程。首先，使用流估计网络将服装图像变形到人的姿态上。然后在第二阶段，将变形后的服装与人物图像融合以渲染新的试穿图像。遗憾的是，此类方法严重依赖于服装变形的质量，在处理困难姿态（例如，人抬起或交叉手臂）时常常失败。在这项工作中，我们提出了一种基于学习到的服装DensePose的鲁棒虚拟试穿变形方法，该DensePose与人的DensePose具有直接对应关系。由于缺乏标注数据，我们展示了如何利用现成的人员DensePose模型和预训练流模型以弱监督方式学习服装DensePose。服装DensePose允许对任意人的姿态进行鲁棒变形而无需额外计算。我们的方法在虚拟试穿基准上达到了最先进的同等水平，并在具有困难姿态的野外人物图像上展示了变形鲁棒性，使其更适用于真实世界的虚拟试穿应用。
引用
@article{arxiv.2303.17688,
title = {Learning Garment DensePose for Robust Warping in Virtual Try-On},
author = {Aiyu Cui and Sen He and Tao Xiang and Antoine Toisoul},
journal= {arXiv preprint arXiv:2303.17688},
year = {2023}
}
备注
6 pages