用于人体合成的3D感知语义引导生成模型
计算机视觉与模式识别
2022-07-19 v2
摘要
生成式神经辐射场（GNeRF）模型从2D图像中提取隐式3D表征，近期已被证明能够生成表示刚性/半刚性物体（如人脸或汽车）的真实感图像。然而，它们通常难以生成表示非刚性物体（如人体）的高质量图像，而后者对许多计算机图形学应用极具意义。本文提出一种用于人体图像合成的3D感知语义引导生成模型（3D-SGAN），其将GNeRF与纹理生成器相结合。前者学习人体的隐式3D表征并输出一组2D语义分割掩码。后者将这些语义掩码转换为真实图像，为人体外观添加真实感纹理。无需额外3D信息，我们的模型即可学习具有真实感、可控生成的3D人体表征。我们在DeepFashion数据集上的实验表明，3D-SGAN显著优于最近的基线方法。代码见 https://github.com/zhangqianhui/3DSGAN
引用
@article{arxiv.2112.01422,
title = {3D-Aware Semantic-Guided Generative Model for Human Synthesis},
author = {Jichao Zhang and Enver Sangineto and Hao Tang and Aliaksandr Siarohin and Zhun Zhong and Nicu Sebe and Wei Wang},
journal= {arXiv preprint arXiv:2112.01422},
year = {2022}
}
备注
ECCV 2022. 29 pages