迈向面部网格配准的几何 - 光度联合对齐

本文提出了一种几何 - 光度联合对齐（GPJA）方法，该方法通过结合几何和光度信息，以像素级精度对齐离散的人类表情。注册人类头部的常见做法通常涉及使用几何处理方法将地标与面部模板网格对齐，但往往忽略了密集的像素级光度一致性。这种疏忽导致不同表情间的纹理参数化不一致，阻碍了电影和游戏中广泛使用的拓扑一致头部网格的创建。GPJA 通过利用可微渲染将顶点与目标表情对齐，克服了这一限制，自动实现几何和光度外观的联合对齐，无需用于训练的语义标注或预对齐网格。该方法具有整体渲染对齐机制和多尺度正则化优化，以确保在大变形下的稳健收敛。该方法利用顶点位置的导数进行监督，并采用基于梯度的算法，保证平滑性并避免几何演化过程中的拓扑伪影。实验结果表明，该方法在各种表情下实现了忠实对齐，超越了传统的基于非刚性 ICP 的方法和最先进的基于深度学习的方法。实际上，我们的方法生成了同一主体在不同表情下的网格，所有网格具有相同的纹理参数化。这种一致性有利于面部动画、重参数化以及其他面部建模应用中的批量操作，从而提高了效率。