AvatarBooth：高质量可定制的 3D 人体化身生成
计算机视觉与模式识别
2023-06-19 v1
摘要
我们提出 AvatarBooth，一种利用文本提示或特定图像生成高质量 3D 化身的新方法。与以往只能基于简单文本描述合成化身的方法不同，我们的方法能够从随意拍摄的面部或身体图像创建个性化化身，同时仍支持基于文本的模型生成与编辑。我们的关键贡献是通过分别针对人脸和身体的双微调扩散模型实现精确的化身生成控制。这使我们能够捕捉面部外观、服装和配饰的精细细节，从而生成高度逼真的化身。此外，我们在优化过程中引入姿态一致约束，以增强扩散模型合成头部图像的多视角一致性，从而消除不受控人体姿态的干扰。另外，我们提出一种多分辨率渲染策略，以由粗到细的监督促进 3D 化身生成，从而提升所提系统的性能。生成的化身模型可使用额外文本描述进一步编辑，并由运动序列驱动。实验表明，无论是基于文本提示还是特定图像，AvatarBooth 在渲染和几何质量上都优于以往的文本到 3D 方法。请访问我们的项目网站 https://zeng-yifei.github.io/avatarbooth_page/。
引用
@article{arxiv.2306.09864,
title = {AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation},
author = {Yifei Zeng and Yuanxun Lu and Xinya Ji and Yao Yao and Hao Zhu and Xun Cao},
journal= {arXiv preprint arXiv:2306.09864},
year = {2023}
}
备注
Project website at https://zeng-yifei.github.io/avatarbooth_page/