设计用于人脸编辑的3D感知StyleNeRF编码器
计算机视觉与模式识别
2023-02-21 v1
摘要
GAN反演已被用于许多人脸操控任务，但2D GAN通常无法生成多视角3D一致的图像。为2D GAN设计的编码器无法为反演和编辑提供足够的3D信息。因此，3D感知GAN反演被提出以增强GAN的3D编辑能力。然而，3D感知GAN反演仍处于探索不足的状态。为解决这一问题，我们基于强大的StyleNeRF模型，提出了一种用于GAN反演和人脸编辑的3D感知（3Da）编码器。我们提出的3Da编码器结合了参数化3D人脸模型与可学习的细节表示模型，以生成几何、纹理和视角方向编码。为实现更灵活的人脸操控，我们随后设计了一个双分支StyleFlow模块，以解耦的几何流和纹理流传递StyleNeRF编码。大量实验表明，我们在人脸属性编辑和纹理迁移两方面均实现了3D一致的人脸操控。此外，对于视频编辑，我们使帧编码序列共享一个公共规范流形，从而提升了编辑属性的时序一致性。
引用
@article{arxiv.2302.09467,
title = {Designing a 3D-Aware StyleNeRF Encoder for Face Editing},
author = {Songlin Yang and Wei Wang and Bo Peng and Jing Dong},
journal= {arXiv preprint arXiv:2302.09467},
year = {2023}
}
备注
Accepted by 2023 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2023)