基于面部对称性先验的 3D GAN 反演
计算机视觉与模式识别
2023-03-15 v2
摘要
近年来，一系列高质量的 3D 感知 GAN 被提出，它们利用了神经渲染的生成能力。将 3D GAN 与 GAN 反演方法相结合，以将真实图像投影到生成器的潜空间，从而实现自由视角一致的合成与编辑，即所谓的 3D GAN 反演，是十分自然的。尽管预训练的 3D GAN 中保留了面部先验，但仅用一张单目图像重建 3D 肖像仍是一个病态问题。直接套用 2D GAN 反演方法仅关注纹理相似性，而忽略了 3D 几何形状的正确性，可能引发几何崩溃效应，尤其在极端姿态下重建侧脸时。此外，新视角下的合成结果容易模糊。在本工作中，我们提出一种通过引入面部对称性先验来改进 3D GAN 反演的新方法。我们设计了一条流程与若干约束，以充分利用通过图像翻转获得的伪辅助视角，从而帮助在反演过程中获得鲁棒且合理的几何形状。为增强未观测视点下的纹理保真度，来自深度引导 3D 变形的伪标签可提供额外的监督。我们设计了旨在过滤非对称情况下冲突区域以进行优化的约束。在图像重建与编辑上的全面定量与定性评估证明了我们方法的优越性。
引用
@article{arxiv.2211.16927,
title = {3D GAN Inversion with Facial Symmetry Prior},
author = {Fei Yin and Yong Zhang and Xuan Wang and Tengfei Wang and Xiaoyu Li and Yuan Gong and Yanbo Fan and Xiaodong Cun and Ying Shan and Cengiz Oztireli and Yujiu Yang},
journal= {arXiv preprint arXiv:2211.16927},
year = {2023}
}
备注
Project Page is at https://feiiyin.github.io/SPI/