基于自监督学习的可控人脸操控与 UV 贴图生成
计算机视觉与模式识别
2022-09-27 v1
摘要
尽管近年来利用生成对抗网络（GANs）操控面部属性已取得显著成功，但在姿态、表情、光照等特征的显式控制方面仍存在若干挑战。近期方法通过结合 2D 生成模型与 3DMM 实现了对 2D 图像的显式控制。然而，由于 3DMM 在纹理重建中缺乏真实感与清晰度，合成图像与 3DMM 渲染图像之间存在域间隙。由于渲染的 3DMM 图像仅包含面部区域而无背景，直接计算这两个域之间的损失并不理想，所得训练模型将存在偏差。在本研究中，我们提出通过控制 3DMM 的参数来显式编辑预训练 StyleGAN 的潜空间。为解决域间隙问题，我们提出了一种称为“映射与编辑”的新颖网络以及一种简单而有效的属性编辑方法，以避免渲染图像与合成图像之间的直接损失计算。此外，由于我们的模型能在身份保持不变的情况下准确生成多视角人脸图像，作为副产品，结合可见性掩码，我们所提模型还能生成纹理丰富且高分辨率的 UV 面部纹理。我们的模型依赖于预训练 StyleGAN，且所提模型以自监督方式训练，无需任何人工标注或数据集。
引用
@article{arxiv.2209.12050,
title = {Controllable Face Manipulation and UV Map Generation by Self-supervised Learning},
author = {Yuanming Li and Jeong-gi Kwak and David Han and Hanseok Ko},
journal= {arXiv preprint arXiv:2209.12050},
year = {2022}
}