基于图卷积网络从自然场景图像实现高保真三维人脸重建
计算机视觉与模式识别
2020-07-14 v3
摘要
基于三维可变形模型（3DMM）的方法在从单视图图像恢复三维人脸形状方面取得了巨大成功。然而，此类方法恢复的面部纹理缺乏输入图像所展现的保真度。近期工作展示了利用从大规模高分辨率人脸纹理 UV 映射数据库训练的生成网络来实现高质量面部纹理恢复，但该数据库难以制备且未公开。本文中，我们提出一种无需采集大规模人脸纹理数据库，即可从自然场景单视图图像重建具有高保真纹理的三维人脸形状的方法。其核心思想是利用输入图像中的面部细节来细化由基于 3DMM 的方法生成的初始纹理。为此，我们提出使用图卷积网络来重建网格顶点的细节颜色，而非重建 UV 映射。实验表明，我们的方法能生成高质量结果，并在定性与定量比较中优于当前最优（SOTA）方法。
引用
@article{arxiv.2003.05653,
title = {Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks},
author = {Jiangke Lin and Yi Yuan and Tianjia Shao and Kun Zhou},
journal= {arXiv preprint arXiv:2003.05653},
year = {2020}
}
备注
Accepted to CVPR 2020. The source code is available at https://github.com/FuxiCV/3D-Face-GCNs