AvatarMe++：基于照片级真实感渲染感知GAN的面部形状与BRDF推断
计算机视觉与模式识别
2021-12-14 v1 图形学
摘要
在过去几年中，许多人脸分析任务取得了令人惊叹的性能，其应用包括人脸生成以及从单张“野外”图像进行3D人脸重建。然而，据我们所知，尚无方法能从“野外”图像生成可用于渲染的高分辨率3D人脸，这可归因于：(a) 可用于训练的数据稀缺，以及 (b) 缺乏能成功应用于极高分辨率数据的鲁棒方法。在本工作中，我们引入首个能够从单张“野外”图像重建照片级真实感、可渲染的3D面部几何与BRDF的方法。我们采集了一个已公开的大规模面部形状与反射率数据集。我们定义了一种快速的面部照片级真实感可微渲染方法，具有准确的面部皮肤漫反射与镜面反射、自遮挡和次表面散射近似。借此，我们训练了一个网络，从用最先进3DMM拟合方法重建的、带有烘焙光照的形状和纹理中解耦出面部漫反射与镜面BRDF分量。我们的方法以显著优势超越现有方法，并从单张低分辨率图像重建高分辨率3D人脸，可在多种应用中渲染，并跨越恐怖谷。
引用
@article{arxiv.2112.05957,
title = {AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs},
author = {Alexandros Lattas and Stylianos Moschoglou and Stylianos Ploumpis and Baris Gecer and Abhijeet Ghosh and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2112.05957},
year = {2021}
}
备注
Project and Dataset page: ( https://github.com/lattas/AvatarMe ). 20 pages, including supplemental materials. Accepted for publishing at IEEE Transactions on Pattern Analysis and Machine Intelligence on 13 November 2021. Copyright 2021 IEEE. Personal use of this material is permitted