SCULPT：基于形状条件的姿态相关着装带纹理人体网格非配对学习
计算机视觉与模式识别
2024-05-07 v2 人工智能
图形学
机器学习
摘要
我们提出SCULPT，一种用于着装且带纹理的人体三维网格的新型三维生成模型。具体而言，我们设计了一个深度神经网络，学习表示着装人体的几何与外观分布。训练此类模型具有挑战性，因为带纹理的人体三维网格数据集在规模与可获取性上均有限。我们的核心观察是，存在如CAPE等中等规模的三维扫描数据集，以及大规模的着装人体二维图像数据集，且多种外观可映射到单一几何。为有效从两种数据模态中学习，我们提出一种针对姿态相关着装且带纹理人体网格的非配对学习流程。具体而言，我们从三维扫描数据学习姿态相关的几何空间，将其表示为相对于SMPL模型逐顶点的位移。接下来，我们利用二维图像数据以无监督方式训练几何条件化的纹理生成器，并使用所学几何模型的中间激活来条件化我们的纹理生成器。为缓解姿态与服装类型、以及姿态与服装外观之间的纠缠，我们以属性标签条件化纹理与几何生成器，例如几何的服装类型、纹理生成器的服装颜色。我们基于视觉问答模型BLIP与CLIP为二维图像自动生成这些条件标签。我们在SCULPT数据集上验证我们的方法，并与最先进的着装人体三维生成模型进行比较。我们的代码与数据可在 https://sculpt.is.tue.mpg.de 获取。
引用
@article{arxiv.2308.10638,
title = {SCULPT: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
author = {Soubhik Sanyal and Partha Ghosh and Jinlong Yang and Michael J. Black and Justus Thies and Timo Bolkart},
journal= {arXiv preprint arXiv:2308.10638},
year = {2024}
}
备注
Updated to camera ready version of CVPR 2024