评估从数据集到模型的人口统计偏差迁移：以面部表情识别为例

人工智能（AI）应用数量的不断增长促使研究者研究这些技术的社会影响并评估其公平性。不幸的是，当前的公平性度量难以应用于多类别多人口统计分类问题，例如面部表情识别（Facial Expression Recognition, FER）。我们提出了一组新的度量来应对这些问题。在所提出的三个度量中，两个关注数据集的表征偏差和刻板偏差，第三个关注训练模型的残差偏差。这些度量结合起来有可能用于研究和比较不同的偏差缓解方法。我们通过将度量应用于基于流行的 Affectnet 数据集的 FER 问题来展示其实用性。与许多其他 FER 数据集一样，Affectnet 是一个来自互联网的大型数据集，包含 291,651 张标注图像。从互联网获取图像引发了一些关于在该数据上训练的任何系统的公平性及其对多样化人群正确泛化能力的担忧。我们首先分析该数据集及其一些变体，发现了显著的种族偏差和性别刻板印象。然后我们提取了几个具有不同人口统计属性的子集并在每个子集上训练模型，观察不同设置下的残差偏差量。我们还在另一个数据集 FER+ 上提供了第二项分析。