野外环境下的3D穿衣人体重建
计算机视觉与模式识别
2022-07-21 v1
摘要
尽管在3D穿衣人体重建方面已取得诸多进展，现有多数方法仍无法从包含多样人体姿态与外观的野外图像中产出鲁棒结果。这主要由于训练数据集与野外数据集之间存在较大的域差距。训练数据集通常为合成数据，包含来自GT 3D扫描的渲染图像。然而，此类数据集相比真实野外数据集具有更简单的人体姿态和自然度较低的图像外观，使其向野外图像泛化极为困难。为解决该问题，本文提出ClothWild，一个首次针对野外图像鲁棒性的3D穿衣人体重建框架。首先，为对域差距保持鲁棒，我们提出一个可使用野外数据集的2D监督目标进行训练的弱监督流程。其次，我们设计基于DensePose的损失函数以减少弱监督的歧义性。在多个公开野外数据集上的大量实证测试表明，我们提出的ClothWild比最先进的方法产出更准确且鲁棒的结果。代码见：https://github.com/hygenie1228/ClothWild_RELEASE。
引用
@article{arxiv.2207.10053,
title = {3D Clothed Human Reconstruction in the Wild},
author = {Gyeongsik Moon and Hyeongjin Nam and Takaaki Shiratori and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2207.10053},
year = {2022}
}
备注
Accepted to ECCV 2022, 25 pages including the supplementary material