基于受限玻尔兹曼机的多变面部表情与姿态下的人脸特征跟踪

人脸特征跟踪由于其与许多应用的相关性，是计算机视觉中的一个活跃领域。这是一项非平凡的任务，因为人脸可能具有不同的面部表情、姿态或遮挡。在本文中，我们通过提出一个基于受限玻尔兹曼机（RBM）及其变体构建的人脸形状先验模型来解决这一问题。具体而言，我们首先构建一个基于深度信念网络的模型，以捕捉近正面视角下由不同面部表情引起的人脸形状变化。为了处理姿态变化，将正面人脸形状先验模型引入到一个三路 RBM 模型中，该模型能够捕捉正面人脸形状与非正面人脸形状之间的关系。最后，我们介绍了将人脸形状先验模型与人脸特征点图像测量结果进行系统性结合的方法。在基准数据库上的实验表明，使用所提出的方法，即使人脸具有显著的面部表情和姿态，也能稳健且准确地跟踪人脸特征点。