具有不完整标签的多任务情绪识别

我们训练一个统一模型来执行三项任务：面部动作单元检测、表情分类和效价-唤醒估计。我们解决学习这三项任务的两个主要挑战。首先，大多数现有数据集高度不平衡。其次，大多数现有数据集不包含全部三项任务的标签。为应对第一个挑战，我们对实验数据集应用数据平衡技术。为应对第二个挑战，我们提出一种多任务模型从缺失（不完整）标签学习的算法。该算法分两步。我们首先训练一个教师模型执行全部三项任务，其中每个样本由其对应任务的真实标签训练。其次，我们将教师模型的输出称为软标签。我们使用软标签与真实标签训练学生模型。我们发现大多数学生模型在所有三项任务上均优于其教师模型。最后，我们使用模型集成进一步提升三项任务的性能。