PSHuman：利用跨尺度多视图扩散与显式重网格化的逼真单图像 3D 人体重建
计算机视觉与模式识别
2025-03-25 v2
摘要
细节丰富且逼真的 3D 人体建模对各种应用至关重要，并已取得巨大进展。然而，由于问题的病态性质以及具有自遮挡的复杂服装拓扑结构，从单目 RGB 图像进行全身重建仍然具有挑战性。在本文中，我们提出了 PSHuman，这是一种利用多视图扩散模型的先验来显式重建人体网格的新框架。我们发现，直接在单视图人体图像上应用多视图扩散会导致严重的几何畸变，尤其是在生成的人脸上。为了解决这个问题，我们提出了一种跨尺度扩散，对全局全身形状和局部面部特征的联合概率分布进行建模，从而能够在没有任何几何畸变的情况下生成细节丰富且保持身份特征的新视图。此外，为了增强不同人体姿势下跨视图的身体形状一致性，我们将生成模型以 SMPL-X 等参数化模型为条件，这些模型提供了身体先验，并防止了与人体解剖结构不一致的不自然视图。利用生成的多视图法线和颜色图像，我们提出了 SMPLX 初始化的显式人体雕刻，以高效地恢复逼真的带纹理人体网格。在 CAPE 和 THuman2.1 数据集上的大量实验结果和定量评估证明了 PSHuman 在几何细节、纹理保真度和泛化能力方面的优越性。
引用
@article{arxiv.2409.10141,
title = {PSHuman: Photorealistic Single-image 3D Human Reconstruction using Cross-Scale Multiview Diffusion and Explicit Remeshing},
author = {Peng Li and Wangguandong Zheng and Yuan Liu and Tao Yu and Yangguang Li and Xingqun Qi and Xiaowei Chi and Siyu Xia and Yan-Pei Cao and Wei Xue and Wenhan Luo and Yike Guo},
journal= {arXiv preprint arXiv:2409.10141},
year = {2025}
}
备注
CVPR2025, Project page: https://penghtyx.github.io/PSHuman