基于深度学习的准共形曲面配准用于部分三维人脸及其在面部识别中的应用
计算机视觉与模式识别
2024-05-17 v1
摘要
三维人脸配准是一个重要过程,其中三维人脸模型被对齐并映射到模板人脸。然而,当处理部分人脸数据时,三维人脸配准的任务变得特别具有挑战性,因为只有有限的面部信息可用。为了应对这一挑战,本文提出了一种新颖的基于深度学习的方法,将准共形几何与深度神经网络相结合用于部分人脸配准。所提出的框架从一个地标检测网络开始,该网络利用曲率信息检测面部特征的存在并估计其对应坐标。这些面部地标特征为配准过程提供了必要的指导。为了建立部分人脸与模板表面之间的密集对应关系,采用了基于准共形理论的配准网络。配准网络建立了一个双射的准共形曲面映射,根据检测到的地标和曲率值对齐对应的部分人脸。它由系数预测网络组成,该网络输出表示曲面映射的最优贝尔特拉米系数。贝尔特拉米系数量化了映射的局部几何畸变。通过适当的激活函数控制贝尔特拉米系数的大小,可以控制映射的双射性和几何畸变。然后将贝尔特拉米系数输入贝尔特拉米求解器网络以重建相应的映射。曲面配准使得能够获取不同部分人脸之间的对应区域并建立逐点对应关系,通过评估这些对应区域的逐点几何差异促进精确的形状比较。实验结果证明了所提出方法的有效性。
引用
@article{arxiv.2405.09880,
title = {Deep Learning-Based Quasi-Conformal Surface Registration for Partial 3D Faces Applied to Facial Recognition},
author = {Yuchen Guo and Hanqun Cao and Lok Ming Lui},
journal= {arXiv preprint arXiv:2405.09880},
year = {2024}
}