AvatarMe：“自然场景”下逼真可渲染的 3D 人脸重建
计算机视觉与模式识别
2020-04-01 v1 图形学
摘要
近年来，随着生成对抗网络（GAN）的出现，许多人脸分析任务取得了惊人的性能，其应用包括但不限于人脸生成和从单张“自然场景”图像进行 3D 人脸重建。然而，据我们所知，目前尚无方法能够从“自然场景”图像生成高分辨率、具有照片级真实感的 3D 人脸，这可归因于：(a) 用于训练的可用数据稀缺，以及 (b) 缺乏可成功应用于极高分辨率数据的稳健方法。在本文中，我们引入了 AvatarMe，这是第一种能够从单张“自然场景”图像重建具有照片级真实感且细节层次不断提升的 3D 人脸的方法。为此，我们采集了一个大型人脸形状与反射率数据集，并在最先进的 3D 纹理和形状重建方法的基础上构建，逐步细化其结果，同时生成真实感渲染所需的逐像素漫反射和高光反射分量。正如我们在一系列定性和定量实验中所展示的，AvatarMe 以显著优势超越了现有技术，并能从单张低分辨率图像重建出真实的 4K x 6K 分辨率 3D 人脸，首次跨越了恐怖谷。
引用
@article{arxiv.2003.13845,
title = {AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild"},
author = {Alexandros Lattas and Stylianos Moschoglou and Baris Gecer and Stylianos Ploumpis and Vasileios Triantafyllou and Abhijeet Ghosh and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2003.13845},
year = {2020}
}
备注
Accepted to CVPR2020. Project page: github.com/lattas/AvatarMe with high resolution results, data and more. 10 pages, 9 figures