基于空间动作单元线索的可解释深度面部表情识别

虽然面部表情识别（FER）的前沿分类器能够实现高水平的准确率，但缺乏可解释性——这一对最终用户来说是重要特征。专家通常将空间动作单元（AUs）从码本关联到面部区域，以实现对表情的视觉解释。在本文中，遵循了相同的专家步骤。我们提出了一种新的学习策略，显式地将 AU 线索纳入分类器训练中，以便训练出可解释的深度模型。在训练期间，使用该 AU 码本、输入图像表达式标签和面部关键点，构建 AU 热力图，以指示最具判别性的图像感兴趣区域。这种宝贵的空间线索被用于训练面向 FER 的深度可解释分类器。通过约束分类器的空间层特征与 AU 热力图相关，实现了这一目标。使用复合损失函数训练分类器，以正确分类图像的同时，产生成可解释的视觉层级注意力，模拟专家决策过程。我们的策略仅依赖图像类别表达式进行监督，不需要额外的手动标注。我们的新策略是通用的，可以应用于任何基于深度 CNN 或 transformer 的分类器，无需进行架构更改或显著增加训练时间。我们在两个公开基准数据集 RAF-DB 和 AffectNet 上的广泛评估表明，所提出的策略能够在不损害分类性能的前提下提高层级可解释性。此外，我们还探讨了一种依赖类激活映射（CAM）方法的常见可解释分类器，并表明我们的做法也能提高 CAM 的可解释性。