从单目 2D 图像实现面向 3D 虚拟试衣系统的鲁棒 3D 服装数字化
计算机视觉与模式识别
2021-12-01 v1
摘要
在本文中，我们开发了一种鲁棒的 3D 服装数字化方案，能够很好地泛化到具有布料纹理遮挡和大幅人体姿态变化的真实世界时尚目录图像。我们对已知类型的服装（例如 T 恤、裤子）假设使用固定拓扑的参数化模板网格模型，并将输入目录图像的高质量纹理映射到对应于该服装参数化网格模型的 UV 贴图面板上。我们首先预测服装边界上的一组稀疏 2D 关键点，随后利用这些关键点对 UV 贴图面板执行基于薄板样条（TPS）的纹理迁移，从而实现上述目标。接着，我们采用深度纹理修复网络来填补 TPS 输出中因视角变化和自遮挡产生的大面积孔洞，以生成一致的 UV 贴图。此外，为训练用于关键点预测和纹理修复任务的监督深度网络，我们生成了大量具有不同纹理和光照、从多种视角拍摄且人物摆出丰富姿态的合成数据。同时，我们手动标注了少量从在线时尚电商平台爬取的时尚目录图像用于微调。我们进行了充分的实证评估，并在时尚目录图像上展示了所提 3D 服装纹理方案的出色定性结果。此类 3D 服装数字化有助于我们解决具有挑战性的 3D 虚拟试衣任务。
引用
@article{arxiv.2111.15140,
title = {Robust 3D Garment Digitization from Monocular 2D Images for 3D Virtual Try-On Systems},
author = {Sahib Majithia and Sandeep N. Parameswaran and Sadbhavana Babar and Vikram Garg and Astitva Srivastava and Avinash Sharma},
journal= {arXiv preprint arXiv:2111.15140},
year = {2021}
}