用于 3DMM 形状拟合的 landmarks 加权

人脸是具有形状与表面纹理的三维物体。三维可变形模型(3DMM)是从单张二维人脸图像重建三维人脸的有力工具。在形状拟合过程中，3DMM 估计二维与三维 landmarks 之间的对应关系。大多数传统 3DMM 拟合方法未能重建出精确的模型，因为人脸形状拟合是一个困难的非线性优化问题。在本文中，我们表明 landmark 加权有助于提升形状重建的精度，并提出了一种新颖的三维可变形模型拟合方法。不同于以往平等对待所有 landmarks 的工作，我们考虑了每对二维与三维对应 landmarks 的估计误差。这些 landmark 点在优化代价函数中基于这些误差被加权。显然，这些 landmarks 具有不同的语义，因为它们位于不同的面部部件上。在拟合解被近似的情境下，landmark 匹配存在偏差。然而，这些具有不同语义的 landmarks 对重建三维人脸具有不同影响。因此，有必要逐个考虑每个 landmark。据我们所知，我们首个通过 3DMM 分析每个特征点用于三维人脸重建。权重随 landmarks 的估计残差自适应变化。实验结果表明，所提方法显著降低了重建误差并提升了三维模型表情的真实感。