用于与网格无关的表情克隆的神经面部蒙皮

在面部动画重定向中，将面部表情准确重定向到面部网格同时实现操控是一项关键挑战。近期的深度学习方法通过将面部表情编码为全局潜在码来解决这一问题，但往往无法捕捉局部区域的细粒度细节。虽然一些方法通过局部变形传递来提高局部精度，但这通常会使面部表情的整体控制复杂化。为了解决这一问题，我们提出了一种结合全局与局部变形模型优势的方法。我们的方法实现了跨不同面部网格的直观控制和精细表情克隆，且不受其底层结构的影响。核心思想是将全局潜在码对目标网格的影响局部化。我们的模型通过预定义分割标签的间接监督，学习预测目标面部网格每个顶点的蒙皮权重。这些预测的权重将全局潜在码局部化，即使对于未见形状的网格也能实现精确且特定区域的变形。我们使用基于面部动作编码系统（FACS）的混合形状来监督潜在码，以确保可解释性并允许对生成的动画进行直接编辑。通过大量实验，我们证明了在表情保真度、变形传递精度以及跨不同网格结构的适应性方面，我们的方法优于SOTA方法。