中文

用于虚拟试穿的单阶段扭曲衣物学习与语义-上下文注意力特征融合

计算机视觉与模式识别 2024-05-28 v2

摘要

基于图像的虚拟试穿旨在将店内的服装贴合到穿着衣服的人体图像上。服装扭曲,即将目标服装与人像中相应身体部位对齐,是实现该目标的关键步骤。现有方法常使用多阶段框架分别处理衣物扭曲、人体合成与试穿生成,或依赖有噪声的基于解析器的中间标签。我们提出了一种新颖的单阶段框架,在不进行显式多阶段学习的情况下隐式学习相同内容。我们的方法利用一种新颖的语义-上下文融合注意力模块进行服装-人体特征融合,能够从目标姿态关键点高效且真实地实现衣物扭曲与人体合成。通过引入一种轻量级线性注意力框架来关注服装区域并融合多个采样流场,我们也解决了先前方法中存在的错位与伪影。为实现扭曲衣物与试穿结果的同步学习,我们引入了扭曲衣物学习模块。我们提出的方法显著提升了虚拟试穿方法的质量与效率,为用户提供更可靠且真实的虚拟试穿体验。

关键词

引用

@article{arxiv.2310.05024,
  title  = {Single Stage Warped Cloth Learning and Semantic-Contextual Attention Feature Fusion for Virtual TryOn},
  author = {Sanhita Pathak and Vinay Kaushik and Brejesh Lall},
  journal= {arXiv preprint arXiv:2310.05024},
  year   = {2024}
}

备注

Accepted in ICME 2024