AvatarCraft：将文本转化为带参数化形状与姿态控制的神经人体化身
计算机视觉与模式识别
2023-08-22 v2
摘要
神经隐式场在表示 3D 场景和生成高质量新视角方面能力强大，但将此类隐式表示用于创建具有特定身份与艺术风格且易于动画化的 3D 人体化身仍具挑战。我们提出的方法 AvatarCraft 通过利用扩散模型，基于单一文本提示引导神经化身的几何与纹理学习，应对该挑战。我们精心设计了神经隐式场的优化框架，包括由粗到细的多包围盒训练策略、形状正则化及基于扩散的约束，以产出高质量几何与纹理。此外，我们通过显式扭曲场将神经隐式场形变，该场将目标人体网格映射到模板人体网格（二者均用参数化人体模型表示），使人体化身可动画化。这通过控制姿态与形状参数，简化了生成化身的动画与重塑。在各种文本描述上的大量实验表明，AvatarCraft 在创建人体化身及渲染新视角、姿态与形状方面高效且鲁棒。项目页：https://avatar-craft.github.io/。
引用
@article{arxiv.2303.17606,
title = {AvatarCraft: Transforming Text into Neural Human Avatars with Parameterized Shape and Pose Control},
author = {Ruixiang Jiang and Can Wang and Jingbo Zhang and Menglei Chai and Mingming He and Dongdong Chen and Jing Liao},
journal= {arXiv preprint arXiv:2303.17606},
year = {2023}
}
备注
ICCV 2023 Camera Ready