面部表情识别中的一致性约束

从静态图像或视频序列中识别面部表情是一个被广泛研究但仍有挑战的问题。深度神经架构或异构模型集成近期取得的进展表明，整合多种输入表示可达到最先进的性能。特别是，输入人脸的外观与形状，或某些面部部件的表示，通常用于提升识别器的质量。本文研究了卷积神经网络（CNNs）的应用，旨在构建静态图像中表情的通用识别器，并可进一步应用于视频序列。我们首先研究了不同面部部件在识别任务中的重要性，聚焦于外观与形状相关特征。然后我们将学习问题置于半监督设定中，利用视频数据，其中仅少量帧被监督。训练数据的无监督部分用于强制三种一致性：时间一致性、面部部件预测之间的一致性，以及基于外观与基于形状的表示之间的一致性。我们的实验分析表明，一致性约束能够提升表情识别器的质量，从而为有效利用无监督视频序列提供了合适的基础。最后我们展示了一些存在遮挡的示例，其中基于形状的预测器表现优于基于外观的预测器。