MoFA：用于无监督单目重建的基于模型的深度卷积人脸自编码器
计算机视觉与模式识别
2017-12-11 v2
摘要
在这项工作中，我们提出了一种新颖的基于模型的深度卷积自编码器，以解决从单张非受控彩色图像重建 3D 人脸这一极具挑战性的问题。为此，我们将卷积编码器网络与一个专家设计的、作为解码器的生成模型相结合。核心创新是我们新的可微参数化解码器，它基于生成模型解析地封装了图像形成过程。我们的解码器将一个具有明确定义语义含义的码向量作为输入，该向量编码详细的人脸姿态、形状、表情、皮肤反射率和场景光照。由于这种结合 CNN 与基于模型的人脸重建的新方法，基于 CNN 的编码器学会了从单张单目输入图像中提取具有语义意义的参数。首次实现了 CNN 编码器与专家设计的生成模型以无监督方式进行端到端训练，这使得在非常大（无标签）的真实世界数据上进行训练变得可行。所获得的重建结果在质量和表示丰富性方面均优于当前 SOTA 方法。
引用
@article{arxiv.1703.10580,
title = {MoFA: Model-based Deep Convolutional Face Autoencoder for Unsupervised Monocular Reconstruction},
author = {Ayush Tewari and Michael Zollhöfer and Hyeongwoo Kim and Pablo Garrido and Florian Bernard and Patrick Pérez and Christian Theobalt},
journal= {arXiv preprint arXiv:1703.10580},
year = {2017}
}
备注
International Conference on Computer Vision (ICCV) 2017 (Oral), 13 pages