CIPS-3D：基于条件独立像素合成的GAN三维感知生成器
计算机视觉与模式识别
2021-10-20 v1 图像与视频处理
摘要
基于风格的GAN（StyleGAN）架构在生成高质量图像方面取得了最先进的结果，但它缺乏对相机位姿的显式精确控制。近期提出的基于NeRF的GAN在三维感知生成器方面取得了重大进展，但它们尚无法生成高质量图像。本文提出CIPS-3D，一种基于风格的三维感知生成器，由浅层NeRF网络和深层隐式神经表示（INR）网络组成。该生成器独立合成每个像素值，无任何空间卷积或上采样操作。此外，我们诊断了暗示次优解的镜像对称问题，并通过引入辅助判别器加以解决。在原始单视图图像上训练后，CIPS-3D以FFHQ上分辨率图像令人印象深刻的FID 6.97刷新了三维感知图像合成纪录。我们还展示了CIPS-3D的几个有趣方向，如迁移学习和三维感知人脸风格化。合成结果以视频观看最佳，因此建议读者查看我们的github项目：https://github.com/PeterouZh/CIPS-3D
引用
@article{arxiv.2110.09788,
title = {CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis},
author = {Peng Zhou and Lingxi Xie and Bingbing Ni and Qi Tian},
journal= {arXiv preprint arXiv:2110.09788},
year = {2021}
}
备注
3D-aware GANs based on NeRF, https://github.com/PeterouZh/CIPS-3D