面部表情识别中的性别刻板印象影响

面部表情识别（FER）使用面部图像来识别用户的情绪状态，从而实现人类与自主系统之间更紧密的交互。遗憾的是，由于图像自然包含一些人口统计信息，如对象的表观年龄、性别和种族，这些系统容易出现人口统计偏差问题。近年来，基于机器学习的模型已成为 FER 最受欢迎的方法。这些模型需要在大型面部表情图像数据集上进行训练，其泛化能力与数据集的特征密切相关。在公开可用的 FER 数据集中，表观性别的总体表示通常是平衡的，但它们在单个标签中的表示并不平衡，从而将社会刻板印象嵌入数据集中并产生了潜在的伤害。尽管此类偏差迄今为止一直被忽视，但理解其在 FER 背景下可能产生的影响十分重要。为此，我们使用一个流行的 FER 数据集 FER+，通过改变某些标签的性别比例，生成了具有不同数量刻板印象偏差的衍生数据集。然后，我们测量在这些数据集上训练的模型在不同表观性别群体上的性能差异。在最坏的偏差条件下，我们观察到某些情绪的识别在不同性别之间存在高达 $29 \%$ 的差异。我们的结果还表明了数据集中刻板印象偏差的安全范围，在该范围内生成的模型似乎不会产生刻板印象偏差。我们的研究结果支持在 FER 等问题中对公共数据集进行彻底的偏差分析的必要性，因为在这些问题中，人口统计表示的全局平衡仍可能隐藏损害某些人口统计群体的其他类型的偏差。