基于伪多视图优化的高保真 3D GAN 反演
计算机视觉与模式识别
2022-11-30 v2
摘要
我们提出了一种高保真 3D 生成对抗网络（GAN）反演框架，该框架能够在保留输入图像特定细节的同时合成逼真的新视角。由于 3D 反演中存在几何与纹理的权衡，高保真 3D GAN 反演具有固有的挑战性，其中对单一视角输入图像的过拟合通常会在隐空间优化过程中损害估计的几何结构。为解决这一挑战，我们提出了一种基于带有可见性分析的伪多视图估计的新颖流程。我们为可见部分保留原始纹理，并利用生成先验处理遮挡部分。大量实验表明，即使对于具有分布外纹理的图像，我们的方法在重建和新视角合成质量上也优于最先进的方法。所提出的流程还支持利用反演得到的隐空间编码进行图像属性编辑和 3D 感知纹理修改。我们的方法实现了从单张图像进行高保真 3D 渲染，在各种 AI 生成 3D 内容的应用中具有广阔前景。
引用
@article{arxiv.2211.15662,
title = {High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization},
author = {Jiaxin Xie and Hao Ouyang and Jingtan Piao and Chenyang Lei and Qifeng Chen},
journal= {arXiv preprint arXiv:2211.15662},
year = {2022}
}
备注
Project website: https://ken-ouyang.github.io/HFGI3D/index.html ; Github link: https://github.com/jiaxinxie97/HFGI3D