基于Transformer的多模态多标签面部动作单元检测
计算机视觉与模式识别
2022-03-29 v2
摘要
面部动作编码系统是人脸表情分析的重要方法。本文描述了我们向第三届情感行为分析（ABAW）2022竞赛提交的工作。我们提出了一种基于Transformer的模型来检测视频中的面部动作单元（FAU）。具体而言，我们首先训练了一个多模态模型以提取音频和视觉特征。此后，我们提出了一个动作单元关联模块来学习各动作单元标签之间的关系并精炼动作单元检测结果。在验证集上的实验结果表明，我们的方法取得了优于基线模型的性能，验证了所提网络的有效性。
引用
@article{arxiv.2203.13301,
title = {Multi-modal Multi-label Facial Action Unit Detection with Transformer},
author = {Lingfeng Wang and Shisen Wang and Jin Qi},
journal= {arXiv preprint arXiv:2203.13301},
year = {2022}
}