Text2Avatar: 基于码本驱动身体可控属性的文本到3D人体化身生成
计算机视觉与模式识别
2024-03-21 v1 人工智能
摘要
直接从文本生成3D人体模型有助于降低角色建模的成本和时间。然而，由于特征耦合以及逼真的3D人体化身数据集的稀缺，实现多属性可控且逼真的3D人体化身生成仍然具有挑战性。为了解决这些问题，我们提出了Text2Avatar，它能够基于耦合的文本提示生成逼真风格的3D化身。Text2Avatar利用离散码本作为中间特征来建立文本与化身之间的连接，从而实现特征的解耦。此外，为了缓解逼真风格3D人体化身数据的稀缺问题，我们利用预训练的无条件3D人体化身生成模型获取大量3D化身伪数据，这使得Text2Avatar能够实现逼真风格的生成。实验结果表明，我们的方法能够从耦合的文本数据生成逼真的3D化身，这对该领域现有的其他方法而言是一项挑战。
引用
@article{arxiv.2401.00711,
title = {Text2Avatar: Text to 3D Human Avatar Generation with Codebook-Driven Body Controllable Attribute},
author = {Chaoqun Gong and Yuqin Dai and Ronghui Li and Achun Bao and Jun Li and Jian Yang and Yachao Zhang and Xiu Li},
journal= {arXiv preprint arXiv:2401.00711},
year = {2024}
}