面部特征点的实时形状跟踪

面部特征点的检测及其形状的准确跟踪在实时虚拟化妆应用中至关重要，用户可通过向不同方向转动脸部查看化妆效果。典型的面部跟踪技术检测多种面部特征点并使用如 Kanade-Lucas-Tomasi（KLT）点跟踪器的点跟踪器进行跟踪。通常，使用 5 或 64 个点来跟踪面部。尽管这些点足以跟踪面部特征点的大致位置，但不足以跟踪其特征点的精确形状。本文提出一种通过结合深度学习技术与点跟踪器实时跟踪面部特征点精确形状的方法。我们利用基于深度学习执行语义分割的 SegNet 准确检测面部特征点。检测到的特征点边缘点使用 KLT 点跟踪器跟踪。尽管 KLT 点跟踪器广受欢迎，但其存在点丢失问题。我们通过周期性执行 SegNet 计算面部特征点形状来解决该问题。即，通过结合两种技术，我们可避免 SegNet 用于实时形状跟踪的计算开销以及 KLT 点跟踪器的点丢失问题。我们进行了若干实验评估所提方法性能并报告其中部分结果。