Aff-Wild2：扩展 Aff-Wild 数据库用于情感识别

利用视觉信号自动理解人类情感是一个在过去 20 年中引起极大兴趣的问题。然而，人类的情绪状态相当复杂。为了评估在真实世界环境中展现的此类状态，我们需要能够捕捉并描述这种复杂性的富有表现力的情感描述符。情感的环形模型（以效价（即情绪的正负程度）和唤醒度（即情绪激活的强度）来描述）可用于此目的。情感识别领域近期的进展是通过深度神经架构的发展以及超大规模训练数据库的可用性而取得的。为此，Aff-Wild 是首个大规模的“野外”数据库，包含约 1,200,000 帧。在本文中，我们在此数据库基础上进行扩展，新增 260 名受试者与 1,413,000 个新视频帧。我们将 Aff-Wild 与新增数据的并集称为 Aff-Wild2。这些视频从 Youtube 下载，在姿态、年龄、光照条件、种族和职业方面具有较大差异。本文利用 Aff-Wild2 以及 RECOLA 数据库，进行了数据库内以及跨数据库实验。所开发的深度神经架构基于最先进的卷积神经网络与带注意力机制的循环神经网络的联合训练；从而既利用卷积特征的不变性属性，又通过循环层对人体行为中出现的时间动态进行建模。所得结果显示了利用扩展后的 Aff-Wild 以及所开发的深度神经架构，从连续情绪维度进行人体行为视觉分析的潜力。