揭示并纠正图像描述数据集与模型中的性别偏见

图像描述任务隐式地涉及性别识别。然而，由于数据中的性别偏见，图像描述模型的性别识别受到影响。此外，由于逐词预测带来的性别-活动偏见，会影响描述预测中的其他词，导致众所周知的标签偏见问题。本文中，我们研究了COCO描述数据集中的性别偏见，表明其不仅源于性别与上下文的统计分布，也源于人类标注者的 flawed 标注。我们考察了此偏见在训练模型中引发的问题。我们提出一种通过将该任务拆分为两个子任务来消除偏见的技术：性别无关图像描述与性别分类。通过这种解耦，可根除性别-上下文影响。我们训练了性别无关图像描述模型，即使在具有与训练数据相似偏见的数据集上评估，其结果与带性别模型相当。有趣的是，该模型对无人图像的描述预测，也与在带性别描述上训练的模型明显不同。我们利用图像中人物的可用边界框与基于掩码的标注训练性别分类器。这使我们能摆脱上下文、聚焦于人物来预测性别。通过将性别代入性别无关描述，我们得到最终的带性别预测。我们的预测取得了与带性别训练模型相似的性能，同时无性别偏见。最后，我们的主要结果是：在一个反刻板印象数据集上，我们的模型优于一个流行的带性别训练的图像描述模型。