基于任务自适应和 AU 辅助图网络的情感行为分析
计算机视觉与模式识别
2024-07-17 v1
摘要
本文提出了我们为第 7 届情感行为分析在野外(ABAW7) 竞赛的多任务学习挑战所提供的解决方案和实验结果。该挑战包括三个任务：动作单元检测、面部表情识别和价值- arousal 估计。我们从三个方面解决本挑战的研究问题：1）为了学习稳健的视觉特征表示，我们引入了预训练的大型模型 Dinov2。2）为了从每个任务中自适应提取所需特征，我们设计了一个在一组可学习查询向量与预提取特征之间执行交叉注意力的任务自适应模块。3）通过提出 AU 辅助图卷积网络(AU-GCN)，我们充分利用 AU 之间的相关性信息来辅助解决 EXPR 和 VA 任务。最终，我们在由组织者提供的验证集上实现了评估指标 \textbf{1.2542}。
引用
@article{arxiv.2407.11663,
title = {Affective Behavior Analysis using Task-adaptive and AU-assisted Graph Network},
author = {Xiaodong Li and Wenchao Du and Hongyu Yang},
journal= {arXiv preprint arXiv:2407.11663},
year = {2024}
}