SiTH：基于图像条件扩散的单视图带纹理人体重建
计算机视觉与模式识别
2024-04-02 v2
摘要
3D 人体重建的一个长期目标是根据单视图图像创建逼真且细节完整的 3D 人体。主要挑战在于推断图像中不可见区域的未知身体形状、外观与衣物细节。为此，我们提出 SiTH，一种将图像条件扩散模型独特地集成到 3D 网格重建流程中的新颖管线。我们方法的核心在于将极具挑战的单视图重建问题分解为生成式幻觉与重建两个子问题。对于前者，我们采用强大的生成式扩散模型，基于输入图像幻觉出不可见的后视外观。对于后者，我们利用蒙皮身体网格作为引导，从输入图像与后视图像中恢复全身纹理网格。SiTH 训练仅需少至 500 个 3D 人体扫描，同时保持对多样图像的通用性与鲁棒性。在两个 3D 人体基准（包括我们新创建的之一）上的广泛评估凸显了我们的方法在 3D 带纹理人体重建中优越的精度与感知质量。我们的代码与评估基准可在 https://ait.ethz.ch/sith 获取。
引用
@article{arxiv.2311.15855,
title = {SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion},
author = {Hsuan-I Ho and Jie Song and Otmar Hilliges},
journal= {arXiv preprint arXiv:2311.15855},
year = {2024}
}
备注
23 pages, 23 figures, CVPR 2024