AvatarVerse：基于文本与姿态的高质量稳定三维虚拟人创建
计算机视觉与模式识别
2023-08-08 v1
摘要
从高度定制的文本描述与姿态引导创建富有表现力、多样化且高质量的三维虚拟人是一项具有挑战性的任务，其难点在于三维建模与纹理化需确保细节与多种风格（写实、虚构等）。我们提出 AvatarVerse，一种稳定的流水线，仅由文本描述与姿态引导生成富有表现力的高质量三维虚拟人。具体而言，我们引入以 DensePose 信号为条件的二维扩散模型，通过二维图像建立虚拟人的三维姿态控制，从而增强部分观测场景下的视角一致性。它解决了臭名昭著的 Janus 问题并显著稳定了生成过程。此外，我们提出渐进式高分辨率三维合成策略，在所成三维虚拟人的质量上获得实质性提升。至此，所提 AvatarVerse 流水线实现了三维虚拟人的零样本三维建模，其不仅更具表现力，且质量与保真度均优于以往工作。严格的定性评估与用户研究展示了 AvatarVerse 在合成高保真三维虚拟人上的优越性，树立了高质量稳定三维虚拟人创建的新标准。我们的项目页面为：https://avatarverse3d.github.io
引用
@article{arxiv.2308.03610,
title = {AvatarVerse: High-quality & Stable 3D Avatar Creation from Text and Pose},
author = {Huichao Zhang and Bowen Chen and Hao Yang and Liao Qu and Xu Wang and Li Chen and Chao Long and Feida Zhu and Kang Du and Min Zheng},
journal= {arXiv preprint arXiv:2308.03610},
year = {2023}
}