将可控 NeRF-GAN 的 3D 感知注入 StyleGAN 以实现可编辑人像图像合成
计算机视觉与模式识别
2022-07-27 v2 图形学
摘要
多年来，2D GAN 在逼真人像生成方面取得了巨大成功。然而，它们在生成过程中缺乏 3D 理解，因此存在多视角不一致问题。为缓解该问题，许多 3D 感知 GAN 被提出并展示了显著成果，但 3D GAN 在编辑语义属性方面存在困难。3D GAN 的可控性和可解释性尚未得到充分探索。在本工作中，我们提出两种方案来克服 2D GAN 与 3D 感知 GAN 的这些弱点。我们首先引入一种新颖的 3D 感知 GAN，SURF-GAN，它能够在训练过程中发现语义属性并以无监督方式对其进行控制。之后，我们将 SURF-GAN 的先验注入 StyleGAN，以获得高保真度的 3D 可控生成器。与现有的基于隐变量、允许隐式姿态控制的方法不同，所提出的 3D 可控 StyleGAN 支持对人像生成进行显式姿态控制。这种蒸馏使得 3D 控制与许多基于 StyleGAN 的技术（例如反演与风格化）直接兼容，并在计算资源方面带来优势。我们的代码已发布于 https://github.com/jgkwak95/SURF-GAN。
引用
@article{arxiv.2207.10257,
title = {Injecting 3D Perception of Controllable NeRF-GAN into StyleGAN for Editable Portrait Image Synthesis},
author = {Jeong-gi Kwak and Yuanming Li and Dongsik Yoon and Donghyeon Kim and David Han and Hanseok Ko},
journal= {arXiv preprint arXiv:2207.10257},
year = {2022}
}
备注
ECCV 2022, project page: https://jgkwak95.github.io/surfgan/