非线性三维可变形人脸模型

作为三维人脸形状与纹理的经典统计模型，三维可变形模型 (3DMM) 广泛用于人脸分析，例如模型拟合、图像合成。传统 3DMM 从一组受控的带关联三维人脸扫描的二维人脸图像中学习，并由两组 PCA 基函数表示。由于训练数据的类型与数量以及线性基的限制，3DMM 的表示能力可能受限。为解决这些问题，本文提出一种创新框架，从大量无约束人脸图像中学习非线性 3DMM 模型，而无需采集三维人脸扫描。具体而言，给定一张人脸图像作为输入，网络编码器估计投影、形状与纹理参数。两个解码器作为非线性 3DMM，分别从形状与纹理参数映射到三维形状与纹理。结合投影参数、三维形状与纹理，设计了一种新颖的可解析微分渲染层以重建原始输入人脸。整个网络仅需弱监督即可端到端训练。我们展示了非线性 3DMM 相对于线性对应模型更强的表示能力，及其对人脸对齐与三维重建的贡献。