Morphable Diffusion：面向单图像虚拟形象创建的三维一致性扩散模型

生成式扩散模型的最新进展使得从单张输入图像或文本提示生成三维资产这一此前难以实现的能力成为可能。在本工作中，我们旨在提升这些模型在创建可控、逼真人类虚拟形象任务中的质量与功能。我们通过将三维可变形模型集成到最先进的多视图一致性扩散方法中来实现这一目标。我们证明，基于铰接式三维模型对生成管线进行精确条件设定，增强了基线模型在单图像新视角合成任务上的性能。更重要的是，这种集成有助于将面部表情和身体姿态控制无缝且精确地融入生成过程。据我们所知，我们提出的框架是首个能够从单张未见对象图像创建完全三维一致、可动画化且逼真人类虚拟形象的扩散模型；广泛定量和定性评估证明了我们的方法在新视角和新表情合成任务上均优于现有最先进的虚拟形象创建模型。我们项目的代码已公开。