从野外图像学习三维人脸可变形模型
计算机视觉与模式识别
2019-07-16 v2
摘要
作为三维面部形状和反照率的传统统计模型，三维可变形模型（3DMM）广泛用于面部分析，例如模型拟合、图像合成。传统的3DMM从一组带有相关受控二维人脸图像的三维人脸扫描中学习，并由两组PCA基函数表示。由于训练数据的类型和数量以及线性基的限制，3DMM的表示能力可能受限。为解决这些问题，本文提出一种创新框架，从大量野外人脸图像中学习非线性3DMM模型，而无需收集三维人脸扫描。具体而言，给定一张人脸图像作为输入，网络编码器估计投影、光照、形状和反照率参数。两个解码器作为非线性3DMM，分别从形状和反照率参数映射到三维形状和反照率。利用投影参数、光照、三维形状和反照率，设计了一种新颖的可解析微分渲染层来重建原始输入人脸。整个网络仅以弱监督方式进行端到端训练。我们展示了我们的非线性3DMM相对于其线性对应物的优越表示能力，以及它对人脸对齐、三维重建和人脸编辑的贡献。
引用
@article{arxiv.1808.09560,
title = {On Learning 3D Face Morphable Model from In-the-wild Images},
author = {Luan Tran and Xiaoming Liu},
journal= {arXiv preprint arXiv:1808.09560},
year = {2019}
}
备注
IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). Conference version: arXiv:1804.03786 (CVPR'18). Source code: https://github.com/tranluan/Nonlinear_Face_3DMM , Project webpage: http://cvlab.cse.msu.edu/project-nonlinear-3dmm.html