Chupa：利用2D扩散概率模型从蒙皮形状先验中雕刻3D着装人体
计算机视觉与模式识别
2023-09-18 v3
摘要
我们提出了一种利用扩散模型生成逼真人体数字替身的3D生成流程。由于人体身份、姿态与随机细节的广泛多样性，3D人体网格生成一直是个难题。为此，我们将问题分解为2D法线图生成与基于法线图的3D重建。具体而言，我们首先使用姿态条件扩散模型同时生成着装人体正面与背面的逼真法线图，称为双法线图。对于3D重建，我们通过网格优化依据法线图将先验SMPL-X网格“雕刻”为精细3D网格。为了进一步增强高频细节，我们提出在身体与面部区域上进行扩散重采样方案，从而鼓励生成逼真的数字替身。我们还无缝整合了近期文本到图像扩散模型以支持基于文本的人体身份控制。我们的方法，即Chupa，能够生成具有更佳感知质量与身份多样性的逼真3D着装人体。
引用
@article{arxiv.2305.11870,
title = {Chupa: Carving 3D Clothed Humans from Skinned Shape Priors using 2D Diffusion Probabilistic Models},
author = {Byungjun Kim and Patrick Kwon and Kwangho Lee and Myunggi Lee and Sookwan Han and Daesik Kim and Hanbyul Joo},
journal= {arXiv preprint arXiv:2305.11870},
year = {2023}
}
备注
Project Page: https://snuvclab.github.io/chupa/