基于扩散引导LRM的无模板单视图三维人体数字化
计算机视觉与模式识别
2024-03-15 v2
摘要
从单张图像重建三维人体已被广泛研究。然而，现有方法往往难以捕捉精细的几何和外观细节，无法为被遮挡部分生成逼真的细节，并且难以泛化到未见过的和自然场景数据集。我们提出了Human-LRM，这是一种扩散引导的前馈模型，能够从单张图像预测人体的隐式场。利用最先进的重建模型（即LRM）和生成模型（即Stable Diffusion）的能力，我们的方法能够在没有任何模板先验（如SMPL）的情况下捕捉人体，并有效地用丰富且逼真的细节增强被遮挡部分。我们的方法首先使用一个带有增强几何解码器的单视图LRM模型来获得三平面NeRF表示。来自三平面NeRF的新视角渲染图提供了强大的几何和颜色先验，我们据此使用扩散模型为被遮挡部分生成照片般逼真的细节。然后，生成的多个视图能够实现高质量几何和外观的重建，与所有现有的人体重建方法相比，带来了优越的整体性能。
引用
@article{arxiv.2401.12175,
title = {Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM},
author = {Zhenzhen Weng and Jingyuan Liu and Hao Tan and Zhan Xu and Yang Zhou and Serena Yeung-Levy and Jimei Yang},
journal= {arXiv preprint arXiv:2401.12175},
year = {2024}
}
备注
Project Page: https://zzweng.github.io/humanlrm