基于形状引导扩散的单图像3D人体数字化
计算机视觉与模式识别
2023-11-16 v1
摘要
我们提出一种方法,从单张输入图像生成具有一致高分辨率外观的360度人物视图。NeRF及其变体通常需要来自不同视角的视频或图像。大多数采用单目输入的现有方法要么依赖真实3D扫描进行监督,要么缺乏3D一致性。尽管近期3D生成模型展现出3D一致人体数字化的前景,但这些方法对多样服装外观的泛化能力不佳,且结果缺乏真实感。与现有工作不同,我们利用为通用图像合成任务预训练的高容量2D扩散模型作为着装人体外观先验。为在保持输入身份的同时实现更好3D一致性,我们通过以轮廓和表面法线为条件的形状引导扩散对缺失区域进行修复,逐步合成输入图像中人物的多视图。随后我们通过逆渲染融合这些合成的多视图图像,获得给定人物的全纹理高分辨率3D网格。实验表明,我们的方法优于先前方法,并从单张图像实现了具有复杂纹理的广泛着装人体的真实感360度合成。
引用
@article{arxiv.2311.09221,
title = {Single-Image 3D Human Digitization with Shape-Guided Diffusion},
author = {Badour AlBahar and Shunsuke Saito and Hung-Yu Tseng and Changil Kim and Johannes Kopf and Jia-Bin Huang},
journal= {arXiv preprint arXiv:2311.09221},
year = {2023}
}
备注
SIGGRAPH Asia 2023. Project website: https://human-sgd.github.io/