面部表情识别模型的特征级偏差评估框架

近期关于公平性的研究表明，面部表情识别（FER）模型对某些视觉感知的人口统计学群体表现出偏差。然而，公开FER数据集中人工标注的人口统计学标签可用性有限，限制了此类偏差分析的范围。为克服这一局限，一些先前的工作求助于伪人口统计学标签，这可能会扭曲偏差评估结果。作为替代，本文提出了一种特征级偏差评估框架，用于在测试集中缺乏人口统计学标签的设置下评估FER模型中的人口统计学偏差。大量实验表明，与依赖伪人口统计学标签的现有方法相比，我们的方法能更有效地评估人口统计学偏差。此外，我们观察到许多现有研究在其偏差评估中未包含统计检验，这引发了人们对某些报告的偏差可能并非具有统计学显著性而是源于随机性的担忧。为解决这一问题，我们引入了一个即插即用的统计模块，以确保偏差评估结果的统计学显著性。随后，基于所提出的模块，在一个大规模数据集上对三个敏感属性（年龄、性别和种族）、七种面部表情以及多种网络架构进行了全面的偏差分析，揭示了FER中显著的人口统计学偏差，并为选择更公平的网络架构提供了见解。