面向第五届自然场景情感行为分析竞赛的基于大型预训练模型的多模态面部动作单元检测
计算机视觉与模式识别
2023-04-19 v3
摘要
面部动作单元检测已成为面部表情分析中的一项重要任务，旨在检测特定的预定义客观面部表情，如抿嘴和提颊。本文介绍了我们参加ABAW 2023竞赛（Affective Behavior Analysis in-the-wild 2023 Competition）面部动作单元检测的提交方案。我们提出了一种多模态面部动作单元检测方法，利用从大型预训练模型中提取的视觉、声学和词汇特征。为了为视觉特征提取提供高质量的细节，我们对训练数据应用了超分辨率和人脸对齐，并展示了潜在的性能提升。我们的方法在第五届ABAW挑战赛的官方验证集上取得了52.3%的F1分数。
引用
@article{arxiv.2303.10590,
title = {Multi-modal Facial Action Unit Detection with Large Pre-trained Models for the 5th Competition on Affective Behavior Analysis in-the-wild},
author = {Yufeng Yin and Minh Tran and Di Chang and Xinrui Wang and Mohammad Soleymani},
journal= {arXiv preprint arXiv:2303.10590},
year = {2023}
}
备注
8 pages, 7 figures, 5 tables