基于风格的无监督单图像显式 3D 人脸重建
计算机视觉与模式识别
2023-04-26 v1
摘要
从单幅图像推断 3D 物体结构是一项不适定任务，原因在于深度模糊与遮挡。文献中典型的解决方式包括利用 2D 或 3D 真值进行监督学习，以及为无监督方法施加手工对称性先验或使用隐式表示来幻觉新视角。在本工作中，我们提出一个用于求解无监督 2D 到显式 3D 风格迁移（UE3DST）的通用对抗学习框架。具体而言，我们融合了两种架构：Wu 等人的无监督显式 3D 重建网络，以及名为 StarGAN-v2 的生成对抗网络（GAN）。我们在三个人脸数据集（Basel Face Model、3DFAW 和 CelebA-HQ）上进行了实验，结果表明我们的方案在 3D 重建上优于 DepthNet、在条件风格迁移上优于 Pix2NeRF 等成熟方案，同时我们通过消融实验论证了模型各部分的独立贡献。与上述基线不同，我们的方案生成用于显式 3D 渲染的特征，这些特征可被操控并用于下游任务。
引用
@article{arxiv.2304.12455,
title = {Unsupervised Style-based Explicit 3D Face Reconstruction from Single Image},
author = {Heng Yu and Zoltan A. Milacski and Laszlo A. Jeni},
journal= {arXiv preprint arXiv:2304.12455},
year = {2023}
}
备注
CVPR workshop