DreamAvatar：基于扩散模型的文本与形状引导三维人体化身生成

我们提出DreamAvatar，一种文本与形状引导的框架，用于生成具有可控姿态的高质量三维人体化身。尽管近期方法在文本引导的三维通用物体生成上取得了令人鼓舞的结果，但由于人体形状、姿态与外观的复杂性，生成高质量人体化身仍是一项开放挑战。我们提出DreamAvatar应对该挑战，其利用可训练的NeRF预测三维点的密度与颜色，并采用预训练的文本到图像扩散模型提供二维自监督。具体而言，我们借助SMPL模型为生成提供形状与姿态引导。我们引入一种双观测空间设计，涉及规范空间与姿态空间的联合优化，二者通过可学习的形变场相关联。这有助于生成更完整的纹理以及忠实于目标姿态的几何。我们还联合优化由全身与放大三维头部计算得到的损失，以缓解常见的多面“Janus”问题并改善生成化身中的面部细节。大量评估表明，DreamAvatar显著优于现有方法，确立了文本与形状引导三维人体化身生成的新的最先进水平。