xCloth:从单目图像中提取无模板带纹理的三维衣物
计算机视觉与模式识别
2022-08-30 v1
摘要
现有的三维衣物重建方法要么假设衣物几何具有预定义模板(将其限制于固定服装样式),要么生成顶点着色网格(缺乏高频纹理细节)。我们的新颖框架从输入单目图像中共同学习衣物表面的几何与语义信息,以实现无模板带纹理的三维衣物数字化。更具体地,我们提出扩展PeeledHuman表示以预测像素对齐的分层深度与语义图来提取三维衣物。该分层表示被进一步用于在无任何人工干预下对提取衣物的任意表面进行UV参数化,从而形成UV图集。随后以混合方式将纹理赋予UV图集:首先将输入图像的像素投影至可见区域的UV空间,接着对遮挡区域进行修复。因此,我们能够从单目图像数字化任意宽松的服装样式,同时保留高频纹理细节。我们在三个公开可用数据集上取得了高保真的三维衣物重建结果,并对互联网图像具有泛化性。
引用
@article{arxiv.2208.12934,
title = {xCloth: Extracting Template-free Textured 3D Clothes from a Monocular Image},
author = {Astitva Srivastava and Chandradeep Pokhariya and Sai Sagar Jinka and Avinash Sharma},
journal= {arXiv preprint arXiv:2208.12934},
year = {2022}
}
备注
Accepted at ACM Multimedia-2022