基于元学习与Transformer关系建模的跨被试动作单元检测
计算机视觉与模式识别
2023-03-07 v1
摘要
面部动作单元(AU)检测是从面部运动中进行情绪分析的关键任务。不同被试之间的表观差异有时会误导由AU带来的变化,导致结果不准确。然而,大多数现有的基于深度学习的AU检测方法未考虑不同被试的身份信息。本文提出一种基于元学习的跨被试AU检测模型,以消除由身份引起的差异。此外,引入基于Transformer的关系学习模块来学习多个AU之间的潜在关系。具体而言,我们提出的工作由两个子任务组成。第一个子任务是基于元学习的AU局部区域表示学习,称为MARL,其学习局部AU区域的判别性表示,该表示融合了多被试的共享信息并消除了身份引起的差异。第二个子任务以第一个子任务的AU局部区域表示为输入,然后基于Transformer编码器架构添加关系学习以捕获AU间关系。整个训练过程是级联的。消融研究与可视化表明,我们的MARL能够消除身份引起的差异,从而获得鲁棒且泛化的AU判别性嵌入表示。我们的结果证明,在两个公开数据集BP4D和DISFA上,我们的方法优于当前最优(state-of-the-art)技术,F1分数分别提高了1.3%和1.4%。
引用
@article{arxiv.2205.08787,
title = {Cross-subject Action Unit Detection with Meta Learning and Transformer-based Relation Modeling},
author = {Jiyuan Cao and Zhilei Liu and Yong Zhang},
journal= {arXiv preprint arXiv:2205.08787},
year = {2023}
}
备注
Accepted by IJCNN 2022