Mimic3D：通过 3D 到 2D 模仿兴盛的 3D 感知 GAN
计算机视觉与模式识别
2023-08-08 v2 图形学
摘要
生成兼具真实感与多视角 3D 一致性的图像对 3D 感知 GAN 至关重要，然而现有方法难以同时实现二者。通过基于 CNN 的 2D 超分辨率提升真实感会破坏严格的 3D 一致性，而通过学习高分辨率 3D 表示进行直接渲染来保持 3D 一致性往往折损图像质量。本文提出一种新颖的学习策略，即 3D 到 2D 模仿，它让生成器 3D 渲染分支合成的图像去模仿其 2D 超分辨率分支生成的图像，从而使 3D 感知 GAN 在保持严格 3D 一致性的同时生成高质量图像。我们还将 3D 感知卷积引入生成器以更好地进行 3D 表示学习，进一步提升了图像生成质量。借助上述策略，我们的方法在 512x512 分辨率下于 FFHQ 和 AFHQ-v2 Cats 上分别达到 5.4 和 4.3 的 FID 分数，大幅优于使用直接 3D 渲染的现有 3D 感知 GAN，并非常接近先前利用 2D 超分辨率的 SOTA 方法。项目主页：https://seanchenxy.github.io/Mimic3DWeb。
引用
@article{arxiv.2303.09036,
title = {Mimic3D: Thriving 3D-Aware GANs via 3D-to-2D Imitation},
author = {Xingyu Chen and Yu Deng and Baoyuan Wang},
journal= {arXiv preprint arXiv:2303.09036},
year = {2023}
}