用于微表情识别的层次化时空注意力

微表情识别（MER）旨在从微表情（ME）视频片段中识别短暂而微妙的面部运动，这些运动揭示了真实情绪。最近的MER方法大多仅利用ME视频片段中的特殊帧或从这些特殊帧中提取光流。然而，它们忽略了运动与时空之间的关系，而面部线索隐藏在这些关系之中。为了解决这个问题，我们提出了层次化时空注意力（HSTA）。具体来说，我们首先通过级联的单模态时空注意力（USTA）并行处理ME视频帧和特殊帧或数据，以建立微妙面部运动与特定面部区域之间的联系。然后，我们设计了跨模态时空注意力（CSTA）以实现跨模态数据的更高质量融合。最后，我们层次化地集成USTA和CSTA以掌握更深层的面部线索。我们的模型强调时间建模而不忽视特殊数据的处理，并在保持各自独特性的同时融合不同模态的内容。在四个基准上的大量实验表明了我们提出的HSTA的有效性。具体来说，与CASME3数据集上的最新方法相比，它在七分类中实现了约3%的分数提升。