Aff-Wild数据库与AffWildNet

在人机交互（HCI）背景下，构建在真实条件下识别人脸表情情感的自动系统，对使机器与人自然交互至关重要。然而，现有人脸情感数据库通常包含在受控良好条件下的有限场景中的表情。Aff-Wild是目前最大的由真实场景下自发面部表情组成、并以效价和唤醒度标注的数据库。本项目的第一个贡献是完成Aff-Wild数据库的扩展：从YouTube收集含真实场景自发面部表情的视频，以[-1,1]范围内的效价与唤醒度标注视频，使用FFLD2检测器检测帧中人脸，并将整个数据集划分为训练、验证与测试集，分别含527056、94223与135145帧。在年龄、种族及效价唤醒度取值上保证了多样性。男女比例接近1。关于构建自动系统所采用的技术，深度学习表现突出，因为几乎所有情感挑战赛的获胜方法都采用了DNN技术。本项目的第二个贡献是构建了一个端到端DNN，其具有联合CNN与RNN模块，并对序列数据中每帧给出效价与唤醒度估计。实验了VGGFace、ResNet、DenseNet及其对应预训练模型用于CNN模块，以及LSTM、GRU、IndRNN、注意力机制用于RNN模块，以寻找最佳组合。也尝试了微调与迁移学习技术。通过比较测试数据上的CCC评价值，最佳模型为预训练VGGFace连接2层带注意力机制的GRU。该模型在序列长度80时效价测试性能为0.555 CCC，序列长度70时唤醒度测试性能为0.499 CCC。