HumanGen:利用显式先验生成人体辐射场
计算机视觉与模式识别
2022-12-13 v1
摘要
近年来,3D GANs在生成视角一致的、具照片真实感的辐射场方面取得了巨大进展。然而,高质量的人体辐射场生成仍具挑战性,部分源于现有方法所采用的与人体相关的先验有限。我们提出HumanGen,一种具有精细几何与逼真自由视角渲染的新型3D人体生成方案。它通过“锚图像”的设计,将3D人体生成与来自2D生成器及人体3D重建器的多种先验显式结合。我们引入一种使用锚图像的混合特征表示,以桥接HumanGen的潜空间与现有2D生成器。随后我们采用分支设计来解耦几何与外观的生成。借助锚图像,我们适配一个3D重建器用于细粒度细节合成,并提出两阶段混合方案以提升外观生成。大量实验证明了我们在几何细节、纹理质量与自由视角性能上实现了最先进的3D人体生成。值得注意的是,HumanGen还可整合各种现成的2D潜空间编辑方法,并无缝将其提升为3D。
引用
@article{arxiv.2212.05321,
title = {HumanGen: Generating Human Radiance Fields with Explicit Priors},
author = {Suyi Jiang and Haoran Jiang and Ziyu Wang and Haimin Luo and Wenzheng Chen and Lan Xu},
journal= {arXiv preprint arXiv:2212.05321},
year = {2022}
}