基于可学习图结构与自适应动作单元约束的几何图表示用于微表情识别
计算机视觉与模式识别
2023-03-06 v2 人工智能
摘要
微表情识别(MER)具有重要价值,因为微表情(MEs)能够揭示真实情绪。大多数工作以图像序列作为输入,无法有效挖掘微表情信息,因为细微的微表情相关运动很容易被无关信息淹没。相比之下,面部关键点是一种低维且紧凑的模态,其计算成本更低,并有可能聚焦于微表情相关的运动特征。然而,面部关键点对于微表情识别的判别性尚不清楚。因此,本文探究了面部关键点的贡献,并提出了一种新颖的框架以高效识别微表情。首先,构建几何双流图网络,从面部关键点中聚合低阶与高阶几何运动信息,以获得具有判别性的微表情表示。其次,引入自学习方式来自动建模节点之间(甚至远距离节点之间)的动态关系。此外,提出一种自适应动作单元损失,以合理建立关键点、面部动作单元与微表情之间的强相关性。值得注意的是,本工作仅利用基于图的几何特征,提供了一种效率显著提升的新思路以推动微表情识别。实验结果表明,所提方法在显著降低计算成本的同时取得了具有竞争力的性能。此外,面部关键点对微表情识别贡献显著,值得进一步研究以实现高效的微表情分析。
引用
@article{arxiv.2205.00380,
title = {Geometric Graph Representation with Learnable Graph Structure and Adaptive AU Constraint for Micro-Expression Recognition},
author = {Jinsheng Wei and Wei Peng and Guanming Lu and Yante Li and Jingjie Yan and Guoying Zhao},
journal= {arXiv preprint arXiv:2205.00380},
year = {2023}
}