基于自适应关键帧挖掘的视频片段微表情识别

作为面部情绪的自发表达，微表情揭示了人类无法控制的潜在情绪。在微表情中，面部运动随时间短暂且稀疏地局部化。然而，基于从完整视频片段学习的各种深度学习技术的现有表示通常是冗余的。此外，利用每个视频片段单一顶点帧的方法需要专家标注并牺牲了时间动态。为了同时定位并识别此类转瞬即逝的面部运动，我们提出了一种新颖的端到端深度学习架构，称为自适应关键帧挖掘网络（AKMNet）。该网络在微表情视频片段上运行，能够通过结合自学习的局部关键帧的空间特征及其全局时间动态，学习有判别力的时空表示。理论分析与经验评估表明，所提方法在多个基准数据集上相较最先进的方法提升了识别准确率。