基于渐进学习的人类情感行为分析

人类情感行为分析旨在开发能够识别和响应人类情感的情感智能技术。为推进该领域，第七届人类情感行为分析野外竞赛（ABAW）举办了基于 s-Aff-Wild2 数据库的多任务学习挑战赛。参赛者需要开发一个实现 Valence-Arousal 估计、情绪识别和 AU 检测的框架。为此，我们提出了一种渐进式多任务学习框架，充分利用每个任务在面部情感特征上的不同关注点。具体而言，我们的方法设计可以概括为三个主要方面：1）分离训练和联合训练：我们首先单独训练每个任务模型，然后基于预训练模型进行联合训练，充分利用每个任务的特征关注点以提高整体框架性能。2）特征融合和时序建模：我们研究了有效的特征融合策略，用于融合来自每个任务特定模型提取的特征，并在联合训练阶段包含时序特征建模，这进一步细化了每个任务的性能。3）联合训练策略优化：为了识别最佳联合训练方法，我们进行了全面的策略搜索，实验 various 任务组合和训练方法，以进一步提升每个任务的整体性能。根据官方结果，我们团队在 MTL 挑战中获得第一名，总分为 1.5286（即 AU F1 分数 0.5580，情绪 F1 分数 0.4286，CCC VA 分数 0.5420）。我们的代码已公开 available at https://github.com/YenanLiu/ABAW7th。