严格审视面部表情识别模型的域泛化能力

面部表情识别是一项具有商业重要性的应用，但一个未被充分重视的局限是此类应用需要在样本外分布上做出预测，其中目标图像与模型训练所用图像具有不同的属性。面部表情识别模型在未见目标域上的表现究竟如何——是好是坏？我们对迁移学习——具体为域泛化——在面部表情识别中进行了系统而严格的评估。使用一个最先进模型与十二个数据集（六个实验室采集、六个“野外”采集），我们进行了广泛的循环式实验，以评估在给定来自未见数据集的新数据时的分类准确率。我们还进行了多源实验，以检验模型从多个源数据集泛化的能力，包括（i）同场景内（如实验室到实验室）、（ii）跨场景（如野外部到实验室）以及（iii）留一法设置。最后，我们将结果与三种商用软件进行比较。我们得到了令人警醒的结果：单源与多源域泛化的准确率仅属中等。即便在表现最佳的多源设置下，我们观察到平均分类准确率为 65.6%（范围：34.6%–88.6%；随机水平：14.3%），相当于相较于语料内分类表现（均值：76.4%）平均下降 10.8 个百分点。我们讨论了定期对情感计算模型与应用的泛化能力进行系统性调查的必要性。