FENeRF：神经辐射场中的人脸编辑
计算机视觉与模式识别
2022-03-22 v2
摘要
以往的肖像图像生成方法大致分为两类：2D GAN和3D感知GAN。2D GAN能够生成高保真肖像但视角一致性低。3D感知GAN方法能保持视角一致性但其生成的图像不可局部编辑。为克服这些局限，我们提出FENeRF，一种能够生成视角一致且可局部编辑的肖像图像的3D感知生成器。我们的方法使用两个解耦的潜码在具有共享几何的空间对齐3D体素中生成对应的面部语义与纹理。得益于这种底层3D表示，FENeRF能够联合渲染边界对齐的图像与语义掩码，并利用语义掩码通过GAN反演编辑3D体素。我们进一步表明，这种3D表示可从广泛可用的单目图像与语义掩码对中学习。此外，我们揭示联合学习语义与纹理有助于生成更精细的几何。我们的实验表明，FENeRF在各种人脸编辑任务中优于最先进的方法。
引用
@article{arxiv.2111.15490,
title = {FENeRF: Face Editing in Neural Radiance Fields},
author = {Jingxiang Sun and Xuan Wang and Yong Zhang and Xiaoyu Li and Qi Zhang and Yebin Liu and Jue Wang},
journal= {arXiv preprint arXiv:2111.15490},
year = {2022}
}
备注
Accepted to CVPR 2022. Project: https://mrtornado24.github.io/FENeRF/