利用基于谱的图卷积编码器进行三维人脸重建

单目三维人脸重建在虚拟化身生成中起着至关重要的作用，在金融科技等领域生成虚拟理财顾问等网络相关应用中有着巨大需求。当前的重建方法主要依赖深度学习技术，并采用二维自监督作为指导模型学习的手段。然而，由于利用二维图像进行模型训练，这些方法在捕捉人脸全面的三维结构信息方面面临挑战。为了克服这一局限性并增强三维结构特征的重建，我们提出了一种创新方法，将现有的二维特征与三维特征相结合以指导模型学习过程。具体而言，我们引入了 3D-ID Loss，该损失函数利用应用于面部网格的基于谱的图卷积编码器（Spectral-Based Graph Convolution Encoder）提取的高维结构特征。这种方法超越了仅依赖面部网格顶点坐标所提供的三维信息。我们的模型使用来自组合数据集的二维 - 三维数据对进行训练，并在 NoW 基准测试中达到了最先进的性能。