GeneMAN：基于多源人类数据的通用单图3D人类重建
计算机视觉与模式识别
2026-01-27 v3
摘要
给定单张野外人物照片，重建高保真度3D人体模型仍是一项具有挑战性的任务。现有方法面临诸多困难：a) 野外人物图像捕获的身体比例差异；b) 画面内多样化的个人物品；c) 人体姿态模糊及纹理不一致。此外，稀缺的高质量人体数据也加剧了这一挑战。为解决上述问题，我们提出了一种名为GeneMAN的通用图像到3D人体重建框架，基于全方位的多源高质量人体数据构建，包括3D扫描数据、多视角视频、单张照片以及我们生成的合成人体数据。GeneMAN包含三个关键模块：1）在不依赖参数化人体模型（如SMPL）的前提下，GeneMAN首先训练人体特定的文本到图像扩散模型和视角条件扩散模型，分别作为GeneMAN的2D人体先验和3D人体先验用于重建。2）借助预训练的人体先验模型，利用几何初始化与雕刻流水线从单张图像中恢复高质量的3D人体几何结构。3）为实现高保真度的3D人体纹理，GeneMAN采用多空间纹理细化流水线，依次在潜在空间和像素空间中细化纹理。大量实验结果表明，GeneMAN能够从单张图像输入生成高质量的3D人体模型，超越现有前沿方法。值得注意的是，GeneMAN在处理野外图像方面展现出更好的通用性，无论输入图像中的身体比例如何，都能产出自然姿态、包含常用物品的高质量3D人体模型。
引用
@article{arxiv.2411.18624,
title = {GeneMAN: Generalizable Single-Image 3D Human Reconstruction from Multi-Source Human Data},
author = {Wentao Wang and Hang Ye and Fangzhou Hong and Xue Yang and Jianfu Zhang and Yizhou Wang and Ziwei Liu and Liang Pan},
journal= {arXiv preprint arXiv:2411.18624},
year = {2026}
}
备注
Accepted by NeurIPS 2025; Project page: https://roooooz.github.io/GeneMAN/