基于分段感知的虚拟试穿
计算机视觉与模式识别
2025-03-18 v1
摘要
现有的基于图像的虚拟试穿方法直接将特定服装传输到人像上，而未利用服装属性来细化传输服装的几何和纹理，导致服装外观不完整和模糊。此外，这些方法通常会屏蔽输入的 limb 纹理，以实现服装不敏感的人物表示，这会导致对人体 limb 区域(即暴露的手臂皮肤)的预测不准，尤其是在在长袖和短袖服装之间转换时。为解决这些问题，我们提出了分段感知虚拟试穿框架，称为PL-VTON，通过多个服装属性进行像素级服装变形，并嵌入显式limb感知特征以生成逼真的试穿结果。具体而言，我们设计了多属性服装变形(MCW)模块，该模块基于多个属性采用分段对齐策略，逐步估计像素级服装位移。随后，我们引入了人体解析估计器(HPE)，将人物语义划分为多个区域，这为人体结构提供约束，从而减轻服装和 limb 区域之间的纹理泄漏。最后，我们提出了基于显式limb感知特征的纹理融合(LTF)模块，以估计 limb 区域的高质量细节，通过融合服装和人体纹理实现。大量实验表明，我们的新方法在定性和定量上均优于最新的虚拟试穿方法。代码已公开于https://github.com/xyhanHIT/PL-VTON。
引用
@article{arxiv.2503.12588,
title = {Progressive Limb-Aware Virtual Try-On},
author = {Xiaoyu Han and Shengping Zhang and Qinglin Liu and Zonglin Li and Chenyang Wang},
journal= {arXiv preprint arXiv:2503.12588},
year = {2025}
}
备注
Accepted by ACM MM 2022. The code is available at https://github.com/xyhanHIT/PL-VTON