DiffHuman：人体的概率真实感 3D 重建
计算机视觉与模式识别
2024-04-02 v1
摘要
我们提出了 DiffHuman，一种从单张 RGB 图像进行真实感 3D 人体重建的概率方法。尽管该问题具有病态性质，但大多数方法都是确定性的并输出单一解，这通常导致在不可见或不确定区域缺乏几何细节并产生模糊。相比之下，DiffHuman 预测以输入 2D 图像为条件的 3D 重建的概率分布，这使我们能够采样多个与图像一致的详细 3D 虚拟人。DiffHuman 被实现为一个条件扩散模型，对底层 3D 形状表示的像素对齐 2D 观测进行去噪。在推理过程中，我们可以通过对预测的 3D 表示的 2D 渲染进行迭代去噪来采样 3D 虚拟人。此外，我们引入了一个生成器神经网络，它以大幅减少的运行时间（55 倍加速）近似渲染，从而产生了一个新颖的双分支扩散框架。我们的实验表明，DiffHuman 能够为输入图像中不可见或不确定的人体部分生成多样且详细的重建，同时在重建可见表面方面仍与现有技术保持竞争力。
引用
@article{arxiv.2404.00485,
title = {DiffHuman: Probabilistic Photorealistic 3D Reconstruction of Humans},
author = {Akash Sengupta and Thiemo Alldieck and Nikos Kolotouros and Enric Corona and Andrei Zanfir and Cristian Sminchisescu},
journal= {arXiv preprint arXiv:2404.00485},
year = {2024}
}
备注
CVPR 2024