通过同步动作单元检测与特征聚合的基于客观类别的微表情识别
计算机视觉与模式识别
2021-03-24 v2
摘要
微表情识别（MER）是一项具有挑战性的任务，因为细微变化发生在人脸的不同动作区域。面部动作区域的变化形成为动作单元（AUs），而微表情中的 AUs 可视为协同群体活动中的参与者。在本文中，我们提出了一种用于基于客观类别的 MER 的新型深度神经网络模型，该模型通过图卷积网络（GCN）同时检测 AUs 并将 AU 级特征聚合为微表情级表示。具体而言，我们在 AU 检测模块中提出了两种新策略以实现更有效的 AU 特征学习：注意力机制与平衡检测损失函数。借助这两种策略，所有 AUs 的特征在统一模型中学习，消除了易出错的 landmarks 检测过程以及针对每个 AU 的繁琐单独训练。此外，我们的模型融入了一个定制的基于客观类别的 AU 知识图，其有助于 GCN 将 AU 级特征聚合为微表情级特征表示。在 MEGC 2018 上两项任务的广泛实验表明，我们的方法显著优于当前最先进的 MER 方法。另外，我们也报道了基于单一模型的微表情 AU 检测结果。
引用
@article{arxiv.2012.13148,
title = {Objective Class-based Micro-Expression Recognition through Simultaneous Action Unit Detection and Feature Aggregation},
author = {Ling Zhou and Qirong Mao and Ming Dong},
journal= {arXiv preprint arXiv:2012.13148},
year = {2021}
}