DreamWaltz-G：基于骨架引导的2D扩散模型生成可表达的3D高斯虚拟化身
计算机视觉与模式识别
2024-09-26 v1 图形学
机器学习
摘要
利用预训练的2D扩散模型和分数蒸馏采样（SDS），最近的方法在文本到3D虚拟化身生成方面显示出有希望的结果。然而，生成能够进行可表达动画的高质量3D虚拟化身仍然具有挑战性。在这项工作中，我们提出了DreamWaltz-G，一种新颖的从文本生成可动画3D虚拟化身的学习框架。该框架的核心在于骨架引导的分数蒸馏和混合3D高斯虚拟化身表示。具体来说，所提出的骨架引导分数蒸馏将来自3D人体模板的骨架控制集成到2D扩散模型中，增强了SDS监督在视角和人体姿态方面的一致性。这有助于生成高质量的虚拟化身，减轻多面、多余肢体和模糊等问题。所提出的混合3D高斯虚拟化身表示建立在高效的3D高斯基础上，结合了神经隐式场和参数化3D网格，以实现实时渲染、稳定的SDS优化和可表达的动画。大量实验表明，DreamWaltz-G在生成和动画化3D虚拟化身方面非常有效，在视觉质量和动画表现力方面均优于现有方法。我们的框架进一步支持多种应用，包括人体视频重演和多主体场景合成。
引用
@article{arxiv.2409.17145,
title = {DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion},
author = {Yukun Huang and Jianan Wang and Ailing Zeng and Zheng-Jun Zha and Lei Zhang and Xihui Liu},
journal= {arXiv preprint arXiv:2409.17145},
year = {2024}
}
备注
Project page: https://yukun-huang.github.io/DreamWaltz-G/