无监督高保真面部纹理生成与重建
计算机视觉与模式识别
2021-10-12 v1
摘要
多年来已提出许多方法以处理从单幅图像恢复面部三维几何与纹理的任务。此类方法往往难以在不依赖训练期三维面部扫描的情况下提供高保真纹理。相比之下,三维面部生成的互补任务未受到同等关注。与 2D 纹理域中 GAN 已能生成高度逼真面部图像不同,更具挑战性的 3D 几何域尚未达到同等的真实感与多样性水平。本文中,我们提出一种用于生成几何与纹理以及恢复高保真纹理这两类任务的新型统一流程。我们的纹理模型以无监督方式从自然图像而非扫描纹理图中学习。据我们所知,这是首个不依赖扫描纹理的此类统一框架。我们的新型训练流程结合预训练的 2D 面部生成器与深度特征操控方法。通过应用精确的 3DMM 拟合,我们可将建模纹理无缝融入合成生成的背景图像,形成带背景、头发、牙齿与身体的纹理模型写实合成图。这使我们能应用来自 2D 图像生成领域的迁移学习,从而大幅受益于该领域令人印象深刻的成果。我们对若干近期方法开展综合研究,在生成与重建任务上对比我们的模型。如广泛的定性及定量分析所示,我们在两项任务上均取得了 SOTA 结果。
引用
@article{arxiv.2110.04760,
title = {Unsupervised High-Fidelity Facial Texture Generation and Reconstruction},
author = {Ron Slossberg and Ibrahim Jubran and Ron Kimmel},
journal= {arXiv preprint arXiv:2110.04760},
year = {2021}
}