Pix2NPHM：从单张图像回归 NPHM 重建

神经参数表头模型（NPHM）是继网格基 3D 形状模型（3DMM）后用于实现高保真几何细节的近期进展。然而，fitting NPHM 到视觉输入极具挑战性，due to其底层潜在空间的表达性。为此，我们提出了 Pix2NPHM，一个视觉变换器（ViT）网络，直接从单张图像回归 NPHM 参数。与现有方法相比，神经参数空间允许我们重建更易识别的面部几何和准确的面部表情。为了实现广泛泛化，我们利用预训练于几何预测任务的领域特定 ViT 作为骨干网络。在包含超过 10 万个 NPHM 注册的 3D 数据混合物中进行训练，启用 SDF 空间中的直接监督；同时利用大规模 2D 视频数据集，其中正常估计作为伪地面真实几何。Pix2NPHM 不仅允许在交互式帧率下进行 3D 重建，还可通过对估计的表面法线和标准点图进行推理时间优化来提高几何保真度。结果我们实现了在野外数据上的前所未有的面部重建质量。