MoGA：用于单视图高斯人形重建的 3D 生成式人格先验

我们提出了 MoGA 方法，用于从单视图图像重建高保真度的 3D 高斯人形。主要挑战在于推断不可见的外观和几何细节，同时确保 3D 的一致性和真实性。大多数先前方法依赖 2D 扩散模型合成不可见视角；然而，这些生成的视角稀疏且不一致，导致不真实的 3D 工艺和模糊的外观。为解决这些限制，我们利用生成式人形模型，通过从学习到的先验分布采样变形高斯来生成多样化的 3D 人形。由于 3D 训练数据有限，这一 3D 模型无法捕获所有不可见身份的图像细节。因此，我们将其作为先验，通过将输入图像投影到其潜在空间并强加额外的 3D 外观和几何约束来确保 3D 的一致性。我们的方法将高斯人形创建表述为模型反演，通过拟合生成式人形来合成来自 2D 扩散模型的合成视图。生成式人形为模型拟合提供初始化，强加 3D 正则化，并帮助细化姿态。实验表明，我们的方法优于最先进的技术，并在实际场景中表现出良好的泛化性。我们的高斯人形也具有内在的可动画性。代码请参见 https://zj-dong.github.io/MoGA/。