用于基于类别的遮挡微表情识别的区域注意力与图嵌入网络
计算机视觉与模式识别
2021-07-14 v1 人工智能
摘要
微表情识别（\textbf{MER}）在近十年吸引了大量研究者的关注。然而，在真实场景中的 MER 会出现遮挡。本文深入探究了 MER 中一个有趣但未被探索的挑战性问题，即遮挡 MER。首先，为了研究真实世界遮挡下的 MER，我们使用多种掩码为社区创建了合成遮挡微表情数据库。其次，为抑制遮挡的影响，提出了一种\underline{R}egion-inspired \underline{R}elation \underline{R}easoning \underline{N}etwork（\textbf{RRRN}，区域启发关系推理网络）来建模不同面部区域之间的关系。RRRN 由骨干网络、区域启发（\textbf{RI}）模块和关系推理（\textbf{RR}）模块组成。更具体地，骨干网络旨在从不同的面部区域提取特征表示，RI 模块基于注意力机制根据区域自身的无遮挡性和重要性计算自适应权重以抑制遮挡影响，RR 模块通过执行图卷积来利用这些区域间的渐进交互。实验在 MEGC 2018 协议的发放数据库评估和复合数据库评估任务上进行。实验结果表明，RRRN 能显著挖掘面部区域的重要性并捕获面部区域间用于 MER 的协作互补关系。结果还证明 RRRN 优于当前最优方法，尤其在遮挡上，且 RRRN 对遮挡更具鲁棒性。
引用
@article{arxiv.2107.05904,
title = {Region attention and graph embedding network for occlusion objective class-based micro-expression recognition},
author = {Qirong Mao and Ling Zhou and Wenming Zheng and Xiuyan Shao and Xiaohua Huang},
journal= {arXiv preprint arXiv:2107.05904},
year = {2021}
}