M3D-VTON：一种单目到三维虚拟试穿网络
计算机视觉与模式识别
2021-08-12 v1
摘要
三维虚拟试穿可以为在线购物提供直观且逼真的视图，具有巨大的潜在商业价值。然而，现有的三维虚拟试穿方法主要依赖于标注的三维人体形状和服装模板，这阻碍了它们在实际场景中的应用。二维虚拟试穿方法提供了一种更快速的操控着装人体的替代方案，但缺乏丰富而真实的三维表示。在本文中，我们提出了一种新颖的单目到三维虚拟试穿网络（M3D-VTON），它结合了二维和三维方法的优点。通过高效整合二维信息并学习将二维表示提升为三维的映射，我们首次尝试仅以目标服装和一张人物图像作为输入来重建三维试穿网格。所提出的 M3D-VTON 包含三个模块：1）单目预测模块（MPM），通过一种新颖的两阶段扭曲过程估计初始全身深度图并完成二维衣物-人体对齐；2）深度细化模块（DRM），细化初始人体深度以产生更细致的褶皱和面部特征；3）纹理融合模块（TFM），将扭曲后的服装与非目标身体部分融合以细化结果。我们还构建了一个高质量的合成单目到三维虚拟试穿数据集，其中每张人物图像都关联一张正面和一张背面深度图。大量实验表明，所提出的 M3D-VTON 能够操控并重建穿着给定服装的三维人体，具有令人信服的细节，并且比其他三维方法更高效。
引用
@article{arxiv.2108.05126,
title = {M3D-VTON: A Monocular-to-3D Virtual Try-On Network},
author = {Fuwei Zhao and Zhenyu Xie and Michael Kampffmeyer and Haoye Dong and Songfang Han and Tianxiang Zheng and Tao Zhang and Xiaodan Liang},
journal= {arXiv preprint arXiv:2108.05126},
year = {2021}
}
备注
Accepted at ICCV 2021