面向基于 NeRF 的面部重演的稠密对应学习

面部重演具有挑战性，因为需要在各种面部表示之间建立稠密对应以进行运动迁移。近期研究利用神经辐射场（NeRF）作为基础表示，进一步提升了多视角面部重演在照片级真实感和 3D 一致性方面的性能。然而，在不同的面部 NeRF 之间建立稠密对应并非易事，因为隐式表示缺乏像基于网格的 3D 参数化模型（如具有索引对齐顶点的 3DMM）那样的真实对应标注。尽管将 3DMM 空间与基于 NeRF 的面部表示对齐可以实现运动控制，但由于其仅限于面部建模且身份保真度较低，这种做法是次优的。因此，本文受到启发提出疑问：能否在没有 3D 参数化模型先验的情况下，学习不同基于 NeRF 的面部表示之间的稠密对应？为应对这一挑战，本文提出了一种新颖的框架，该框架采用三平面作为基础 NeRF 表示，并将面部三平面分解为三个组件：规范三平面、身份形变和运动。在运动控制方面，本文的关键贡献是提出了一个平面字典（PlaneDict）模块，该模块将运动条件高效映射为可学习正交平面基的线性加权叠加。据本文所知，该框架是首个在没有 3D 参数化模型先验的情况下实现一次性多视角面部重演的方法。大量实验表明，本文方法在细粒度运动控制和身份保持方面产生了优于以往方法的结果。