基于单张图像的神经三维衣物重定向
计算机视觉与模式识别
2021-02-02 v1
摘要
本文提出一种衣物重定向方法：给定一张 RGB 单人图像，生成相应 3D 衣物模板模型的潜在姿态与形变，以贴合该人。该问题本质上是不适定的，因为无法获取真实标注数据，即同一姿态下穿着不同 3D 衣物模板模型的人体图像。我们利用物理仿真生成的大规模合成数据来应对这一挑战，从而将 2D 密集人体姿态映射到 3D 衣物形变。基于仿真数据，我们提出一种半监督学习框架，通过与指定的身衣接触点相匹配并依据衣物轮廓贴合无标注真实图像，来验证 3D 形变的物理合理性。我们设计了一种新的神经衣物重定向网络（CRNet），以端到端方式整合半监督重定向任务。在评估中，我们表明该方法能够预测真实世界示例中重定向衣物模型所需的逼真 3D 姿态与形变场。
引用
@article{arxiv.2102.00062,
title = {Neural 3D Clothes Retargeting from a Single Image},
author = {Jae Shin Yoon and Kihwan Kim and Jan Kautz and Hyun Soo Park},
journal= {arXiv preprint arXiv:2102.00062},
year = {2021}
}
备注
20 pages, 21 figures