基于光流重建的局部遮挡下动态面部表情识别

视频面部表情识别在许多应用中很有用，近来受到广泛关注。尽管一些解决方案在受控环境（无遮挡）下给出了非常好的结果，但在存在局部面部遮挡情况下的识别仍然是一项具有挑战性的任务。为处理遮挡，已有基于重建面部被遮挡部分提出的解决方案。这些方案主要基于面部的纹理或几何特征。然而，不同人物在做相同表情时面部运动的相似性似乎是重建的一个真正优势。在本文中，我们利用这一优势，提出了一种基于带跳跃连接的自编码器在光流域中重建面部被遮挡部分的新方案。据我们所知，这是首个直接重建运动以用于面部表情识别的提议。我们在受控数据集CK+上验证了我们的方法，该数据集上生成了不同的遮挡。我们的实验表明，所提方法在识别准确率方面显著缩小了遮挡与非遮挡情形之间的差距。我们还将我们的方法与现有的SOTA解决方案进行了比较。为了在未来奠定可复现且公平比较的基础，我们还提出了一种包含遮挡生成与重建评估的新实验协议。