GAN2X：图像 GAN 的非 Lambertian 逆向渲染
计算机视觉与模式识别
2022-11-15 v4
摘要
2D 图像是对 3D 物理世界的观察，由几何、材质和光照分量描绘。从 2D 图像中恢复这些潜在内在分量（也称为逆向渲染），通常需要在监督设置下收集来自多个视角和光照条件的配对图像，这耗费大量资源。在本工作中，我们提出了 GAN2X，一种仅使用未配对图像进行训练的无监督逆向渲染新方法。不同于以往主要关注 3D 形状的 Shape-from-GAN 方法，我们首次尝试利用 GAN 生成的伪配对数据来恢复非 Lambertian 材质属性。为实现精确的逆向渲染，我们设计了一种感知镜面反射的神经表面表示，能够连续建模几何与材质属性。采用基于着色的细化技术，以进一步提取目标图像中的信息并恢复更多精细细节。实验表明，GAN2X 能够针对不同物体类别将 2D 图像精确分解为 3D 形状、反照率和镜面反射属性，并在无监督单视图 3D 人脸重建中取得了 SOTA 性能。我们还展示了其在下游任务中的应用，包括真实图像编辑以及将 2D GAN 提升为分解的 3D GAN。
引用
@article{arxiv.2206.09244,
title = {GAN2X: Non-Lambertian Inverse Rendering of Image GANs},
author = {Xingang Pan and Ayush Tewari and Lingjie Liu and Christian Theobalt},
journal= {arXiv preprint arXiv:2206.09244},
year = {2022}
}
备注
Accepted to 3DV 2022. The video demo is available at the project page: https://vcai.mpi-inf.mpg.de/projects/GAN2X/