USR：基于几何与语义一致性的无监督分离式三维衣物与人体重建
计算机视觉与模式识别
2023-03-03 v3
摘要
从图像中重建着装人体是一项热门任务，在创意媒体与游戏行业具有广阔应用前景。然而，大多数现有方法在有 3D 模型监督下将人体与衣物作为整体重建，这阻碍了下游交互任务且需要难以获取的数据。为解决这些问题，我们提出一种无监督分离式 3D 衣物与人体重建模型（USR），可在无 3D 模型情况下分层重建人体与带真实纹理的衣物。更具体地，我们的方法提出一种广义表面感知神经辐射场，以学习稀疏多视图图像与着装人体几何之间的映射。基于完整几何，我们引入语义与置信度引导分离策略（SCGS），利用 2D 语义与 3D 几何间的一致性来检测、分割并重建衣物层。此外，我们提出一种几何微调模块以平滑边缘。在我们数据集上的大量实验表明，与最先进方法相比，USR 在几何与外观重建上均取得提升，同时支持实时泛化至未见人员。此外，我们还引入 SMPL-D 模型以展示衣物与人体的分离建模所带来的益处，其允许换装与虚拟试穿。
引用
@article{arxiv.2302.10518,
title = {USR: Unsupervised Separated 3D Garment and Human Reconstruction via Geometry and Semantic Consistency},
author = {Yue Shi and Yuxuan Xiong and Jingyi Chai and Bingbing Ni and Wenjun Zhang},
journal= {arXiv preprint arXiv:2302.10518},
year = {2023}
}