En3D: 一种从2D合成数据雕刻3D人体的增强生成模型

我们提出En3D，一种增强的生成方案，用于雕刻高质量3D人体化身。与以往依赖稀缺3D数据集或有限2D集合（视角不平衡、姿态先验不精确）的工作不同，我们的方法旨在开发一种零样本3D生成方案，能够生成视觉逼真、几何精确且内容多样化的3D人体，而无需依赖预先存在的3D或2D资产。为应对这一挑战，我们引入了一个精心设计的工作流程，通过精确的物理建模从合成2D数据中学习增强的3D生成模型。在推理过程中，我们集成优化模块以弥合真实外观与粗糙3D形状之间的差距。具体而言，En3D包含三个模块：一个3D生成器，从合成的平衡、多样且结构化的图像中准确建模具有真实外观的泛化3D人体；一个几何雕刻器，利用多视图法线约束增强形状质量以处理复杂人体解剖结构；以及一个纹理模块，利用语义UV划分和可微分光栅化器，以保真度和可编辑性解耦显式纹理图。实验结果表明，我们的方法在图像质量、几何精度和内容多样性方面显著优于先前工作。我们还展示了生成的化身在动画和编辑方面的适用性，以及我们的方法在内容风格自由适应方面的可扩展性。