GP-VTON：通过局部流全局解析协同学习迈向通用虚拟试穿
计算机视觉与模式识别
2023-03-27 v1
摘要
基于图像的虚拟试穿旨在将店内服装转移到特定人物上。现有方法采用全局扭曲模块为不同服装部件建模各向异性形变，在接收挑战性输入（如复杂人体姿态、困难服装）时无法保留不同部件的语义信息。此外，多数方法直接扭曲输入服装以对齐保留区域边界，常需纹理挤压满足边界形状约束，从而导致纹理失真。上述欠佳性能阻碍现有方法用于现实应用。为解决这些问题并朝现实虚拟试穿迈进，我们提出名为 GP-VTON 的通用虚拟试穿框架，通过开发创新的局部流全局解析 (LFGP) 扭曲模块与动态梯度截断 (DGT) 训练策略实现。具体而言，相较先前全局扭曲机制，LFGP 采用局部流单独扭曲服装部件，并通过全局服装解析组装局部扭曲结果，即便在挑战性输入下也能得到合理扭曲部件与语义正确的完整服装。另一方面，我们的 DGT 训练策略在重叠区域动态截断梯度，扭曲服装不再需满足边界约束，有效避免纹理挤压问题。此外，我们的 GP-VTON 可轻松扩展至多类别场景，并利用不同服装类别数据联合训练。在两个高分辨率基准上的大量实验证明了我们相较现有最先进方法的优越性。
引用
@article{arxiv.2303.13756,
title = {GP-VTON: Towards General Purpose Virtual Try-on via Collaborative Local-Flow Global-Parsing Learning},
author = {Zhenyu Xie and Zaiyu Huang and Xin Dong and Fuwei Zhao and Haoye Dong and Xijin Zhang and Feida Zhu and Xiaodan Liang},
journal= {arXiv preprint arXiv:2303.13756},
year = {2023}
}
备注
8 pages, 8 figures, The IEEE/CVF Computer Vision and Pattern Recognition Conference (CVPR)