SEEAvatar：具有约束几何与外观的逼真文本到 3D 虚拟人生成
计算机视觉与模式识别
2023-12-27 v2
摘要
在大规模文本到图像生成模型的驱动下，文本到 3D 虚拟人生成取得了可喜进展。然而，由于几何不精确与外观质量低下，大多数方法无法产生逼真结果。为迈向更实用的虚拟人生成，我们提出了 SEEAvatar，一种利用自演化约束解耦几何与外观，从文本生成逼真 3D 虚拟人的方法。对于几何，我们提出使用模板虚拟人将优化的虚拟人约束在良好的全局形状内。模板虚拟人使用人体先验进行初始化，并可由优化的虚拟人定期更新作为演化模板，从而实现更灵活的形状生成。此外，几何在面部与手部等局部也受静态人体先验约束，以保持精细结构。对于外观生成，我们使用通过提示工程增强的扩散模型来引导基于物理的渲染管线生成逼真纹理。对反照率纹理应用亮度约束以抑制不正确的光照效应。实验表明，我们的方法在全局与局部几何及外观质量上均大幅超越以往方法。由于我们的方法能产生高质量网格与纹理，这些资产可直接应用于经典图形管线中，在任何光照条件下进行逼真渲染。项目页面：https://yoxu515.github.io/SEEAvatar/。
关键词
引用
@article{arxiv.2312.08889,
title = {SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance},
author = {Yuanyou Xu and Zongxin Yang and Yi Yang},
journal= {arXiv preprint arXiv:2312.08889},
year = {2023}
}