通过几何与遮挡感知编码使编码器在 3D GAN 反演中重获优势
计算机视觉与模式识别
2023-03-23 v1
摘要
3D GAN 反演旨在从单张图像输入同时实现高重建保真度与合理的 3D 几何。然而，现有 3D GAN 反演方法依赖于针对每个个案的耗时优化。在本工作中，我们基于最广泛使用的 3D GAN 模型之一 EG3D 引入一种新颖的基于编码器的反演框架。我们利用 EG3D 潜空间的内在属性来设计判别器与背景深度正则化。这使我们能够训练一个几何感知编码器，可将输入图像转换为相应的潜代码。此外，我们探索 EG3D 的特征空间并开发了一个自适应细化阶段，该阶段提升了 EG3D 中特征的表达能力以增强细粒度纹理细节的恢复。最后，我们提出一种遮挡感知融合操作以防止未观测区域的畸变。我们的方法取得了与基于优化的方法相当的令人印象深刻的結果，同时速度快达 500 倍。我们的框架非常适合于语义编辑等应用。
引用
@article{arxiv.2303.12326,
title = {Make Encoder Great Again in 3D GAN Inversion through Geometry and Occlusion-Aware Encoding},
author = {Ziyang Yuan and Yiming Zhu and Yu Li and Hongyu Liu and Chun Yuan},
journal= {arXiv preprint arXiv:2303.12326},
year = {2023}
}
备注
Project page: https://eg3d-goae.github.io/