用于基于风格的 3D GAN 逆映射的自监督几何感知编码器
计算机视觉与模式识别
2022-12-19 v2 人工智能
图形学
摘要
StyleGAN 已通过图像逆映射与潜变量编辑在 2D 人脸重建与语义编辑方面取得重大进展。尽管将 2D StyleGAN 扩展到 3D 人脸的研究已经出现,但相应的通用 3D GAN 逆映射框架仍然缺失,限制了 3D 人脸重建与语义编辑的应用。本文研究具有挑战性的 3D GAN 逆映射问题:给定单张人脸图像预测潜码以忠实恢复其 3D 形状与精细纹理。该问题是不适定的:无数种形状与纹理的组合都可渲染为当前图像。此外,由于全局潜码容量有限,2D 逆映射方法应用于 3D 模型时无法同时保持忠实的形状与纹理。为解决这个问题,我们设计了一种有效的自训练方案来约束逆映射的学习。该学习无需任何真实世界 2D-3D 训练对,仅使用 3D GAN 生成的代理样本即可高效完成。另外,除捕获粗形状与纹理信息的全局潜码外,我们为生成网络增加局部分支,加入像素对齐特征以忠实重建人脸细节。我们进一步考虑了一种执行 3D 视角一致编辑的新流程。大量实验表明,我们的方法在形状与纹理重建质量上均优于最先进的逆映射方法。代码与数据将公开。
引用
@article{arxiv.2212.07409,
title = {Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion},
author = {Yushi Lan and Xuyi Meng and Shuai Yang and Chen Change Loy and Bo Dai},
journal= {arXiv preprint arXiv:2212.07409},
year = {2022}
}
备注
An encoder-based 3D GAN inversion method. Project page: https://nirvanalan.github.io/projects/E3DGE/index.html