TADA！从文本到可动画数字化身
人工智能
2023-08-22 v1
摘要
我们提出 TADA，一种简洁而有效的方法，它接收文本描述并生成具有高质量几何与逼真纹理、可使用传统图形管线进行动画与渲染的表现力 3D 化身。现有的基于文本的字符生成方法在几何与纹理质量上受限，且因几何与纹理间对齐不一致（尤其在面部区域）而无法真实动画。为克服这些局限，TADA 利用了 2D 扩散模型与可动画参数化身体模型的协同作用。具体而言，我们从 SMPL-X 导出带 3D 位移与纹理图的可优化高分辨率身体模型，并使用带分数蒸馏采样（SDS）的分层渲染从文本创建高质量、细节丰富、整体的 3D 化身。为确保几何与纹理对齐，我们渲染生成角色的法与 RGB 图像，并在 SDS 训练过程中利用其潜在嵌入。我们进一步引入多种表情参数以在训练时形变生成的角色，确保所生成角色的语义与原始 SMPL-X 模型一致，从而得到可动画角色。综合评估表明，TADA 在定性与定量指标上均显著超越现有方法。TADA 支持创建大规模可用于动画与渲染的数字角色资产，同时可通过自然语言轻松编辑。代码将公开以供研究使用。
引用
@article{arxiv.2308.10899,
title = {TADA! Text to Animatable Digital Avatars},
author = {Tingting Liao and Hongwei Yi and Yuliang Xiu and Jiaxaing Tang and Yangyi Huang and Justus Thies and Michael J. Black},
journal= {arXiv preprint arXiv:2308.10899},
year = {2023}
}