基于单视角图像的可泛化人体高斯模型

在这项工作中，我们致力于从单张图像学习3D人体高斯模型的任务，重点关注恢复包括未观测区域在内的详细外观和几何结构。我们引入了一个单视角可泛化人体高斯模型（HGM），该模型采用一种新颖的先生成后精炼流程，并借助人体先验和扩散先验的指导。我们的方法使用ControlNet来精炼从粗略预测的人体高斯模型渲染出的背面视图图像，然后使用精炼后的图像与输入图像一起重建精炼后的人体高斯模型。为了减轻生成不现实人体姿态和形状的潜在问题，我们将来自SMPL-X模型的人体先验作为双分支纳入，使用稀疏卷积和注意力机制将图像特征从SMPL-X体素传播到图像高斯模型。鉴于初始SMPL-X估计可能不准确，我们使用我们的HGM模型逐步对其进行精炼。我们在多个公开可用的数据集上验证了我们的方法。我们的方法在新视角合成和表面重建方面均超越了先前的方法。我们的方法在跨数据集评估和野外图像上也展现出强大的泛化能力。