缓解图像描述系统中的性别偏见
计算机视觉与模式识别
2021-04-22 v7 多媒体
摘要
图像描述在来自网络的大量支撑图像集合的帮助下取得了实质性进展。然而，近期研究指出，诸如COCO之类的描述数据集含有网络语料中存在的性别偏见。因此，学习模型可能严重依赖学到的先验与图像上下文进行性别识别，导致不正确甚至冒犯性的错误。为鼓励模型学习正确的性别特征，我们重新组织了COCO数据集，提出了两个新的划分COCO-GB V1与V2数据集，其训练集与测试集具有不同的性别-上下文联合分布。依赖上下文线索的模型将在反刻板印象的测试数据上遭受巨大的性别预测错误。基准实验揭示大多数描述模型学到了性别偏见，导致高性别预测错误，尤其是对女性。为缓解这一不期望的偏见，我们提出了一种新的引导注意力图像描述模型（GAIC），其对视觉注意力提供自引导以鼓励模型捕捉正确的性别视觉证据。实验结果证实GAIC能在保持有竞争力描述质量的同时显著降低性别预测错误。我们的代码与设计好的基准数据集可在 https://github.com/datamllab/Mitigating_Gender_Bias_In_Captioning_System 获取。
引用
@article{arxiv.2006.08315,
title = {Mitigating Gender Bias in Captioning Systems},
author = {Ruixiang Tang and Mengnan Du and Yuening Li and Zirui Liu and Na Zou and Xia Hu},
journal= {arXiv preprint arXiv:2006.08315},
year = {2021}
}