表情、情感与动作单元识别：Aff-Wild2、多任务学习与ArcFace

情感计算在数据资源方面一直受到很大限制。随着深度学习模型作为解决任何计算机视觉任务的默认方法的兴起，收集和标注多样化的自然场景（in-the-wild）数据集的需求已变得显而易见。近期已提出了一些自然场景数据库。然而：i) 它们的规模小，ii) 它们不是音视频的，iii) 只有一小部分是人工标注的，iv) 它们包含少量受试者，或 v) 它们未针对所有主要行为任务（效价-唤醒度估计、动作单元检测和基本表情分类）进行标注。为解决这些问题，我们大幅扩展了最大的可用自然场景数据库（Aff-Wild）以研究连续情感如效价和唤醒度。此外，我们用基本表情和动作单元标注了该数据库的部分内容。因此，这首次使得对所有三种行为状态的联合研究成为可能。我们称该数据库为 Aff-Wild2。我们使用视觉和音频模态的 CNN 和 CNN-RNN 架构进行了大量实验；这些网络在 Aff-Wild2 上训练，然后在 10 个公开可用的情感数据库上评估其性能。我们表明这些网络在情感识别任务上取得了最先进的性能。此外，我们将 ArcFace 损失函数适配到情感识别背景下，并用它训练 Aff-Wild2 上的两个新网络，然后在多种不同的表情识别数据库上重新训练它们。这些网络被证明改进了现有的最先进水平。该数据库、情感识别模型和源代码可在 http://ibug.doc.ic.ac.uk/resources/aff-wild2 获取。