从野外图像中学习自由变形以进行三维人脸重建

三维可变形模型（3DMM）是一种基于主成分分析（PCA）的统计模型，使用线性基函数表示三维人脸，在从单视角野外图像重建三维人脸方面已显示出有前景的结果。然而，由于三维扫描数量有限以及全局线性基，3DMM 的表示能力受限。为解决 3DMM 的局限性，我们首次提出一种直接的基于学习的方法，通过自由变形（FFD）重建三维人脸网格。FFD 是一种几何建模方法，将参考网格嵌入平行六面体网格中，并通过移动网格的稀疏控制点来使网格变形。由于 FFD 基于数学定义的基函数，其表示能力无限制。因此，我们可以通过估计控制点的适当偏移作为变形参数来恢复准确的三维人脸网格。尽管 3DMM 和 FFD 都是参数化模型，但预测 3DMM 参数对人脸形状的影响较为困难，而 FFD 的变形参数对其在网格最终形状上的影响是可解释的。FFD 的这一实用优势使得所得网格和控制点可作为三维人脸建模的良好起点，因为普通用户可以使用广泛可用的三维软件工具对网格进行微调。在多个数据集上的实验表明，我们的方法能成功从二维人脸图像估计三维人脸几何与面部表情，达到与最先进方法相当的性能。