生成式多平面图像：使 2D GAN 具备 3D 感知能力
计算机视觉与模式识别
2022-07-22 v1 人工智能
摘要
要使现有的 2D GAN 具备 3D 感知能力，真正需要做什么？为回答这一问题，我们对一个经典的 GAN（即 StyleGANv2）尽可能少地做修改。我们发现仅有两处修改是绝对必要的：1）一个多平面图像风格生成器分支，它根据深度条件生成一组 alpha 图；2）一个姿态条件判别器。我们将生成的输出称为“生成式多平面图像”（GMPI），并强调其渲染结果不仅质量高，而且保证视角一致，这使得 GMPI 不同于许多先前的工作。重要的是，alpha 图的数量可以动态调整，且训练与推理时可不相同，从而缓解内存顾虑，并能在分辨率 下于半天之内快速训练 GMPI。我们的发现在三个具有挑战性且常见的高分辨率数据集（包括 FFHQ、AFHQv2 和 MetFaces）上保持一致。
引用
@article{arxiv.2207.10642,
title = {Generative Multiplane Images: Making a 2D GAN 3D-Aware},
author = {Xiaoming Zhao and Fangchang Ma and David Güera and Zhile Ren and Alexander G. Schwing and Alex Colburn},
journal= {arXiv preprint arXiv:2207.10642},
year = {2022}
}
备注
ECCV2022; Project Page: https://xiaoming-zhao.github.io/projects/gmpi/