通过3D感知全局对应学习实现困难姿态虚拟试穿
计算机视觉与模式识别
2022-11-28 v1
摘要
在本文中，我们面向存在多样姿态和大视角变化的基于图像的 person-to-person 虚拟试穿任务。现有方法在此设定下受限，因为它们主要基于2D姿态和外观估计服装变形流，忽略了3D人体形状的几何先验。此外，当前的服装变形方法局限于局部区域，难以捕捉长程依赖，导致产生带有伪影的低质量流场。为解决这些问题，我们提出3D感知全局对应，即可靠的流场，联合编码全局语义关联、局部形变和3D人体的几何先验。具体而言，给定描绘源人物和目标人物的图像对，(a)我们首先通过两个编码器获取其姿态感知的高级表示，并引入带有多个细化模块的由粗到细解码器来预测逐像素全局对应。(b)从图像推断出的3D参数化人体模型作为先验融入以正则化对应细化过程，使我们的流场具备3D感知并更好地处理姿态和视角变化。(c)最后，对抗生成器以由3D感知流场变形的服装和目标人物图像为输入，合成照片级真实试穿结果。在公开基准和我们的HardPose测试集上的大量实验证明了我们的方法相对于SOTA试穿方法的优越性。
引用
@article{arxiv.2211.14052,
title = {Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence Learning},
author = {Zaiyu Huang and Hanhui Li and Zhenyu Xie and Michael Kampffmeyer and Qingling Cai and Xiaodan Liang},
journal= {arXiv preprint arXiv:2211.14052},
year = {2022}
}
备注
36th Conference on Neural Information Processing Systems (NeurIPS 2022)