理解与评估图像描述中的种族偏见
计算机视觉与模式识别
2021-08-31 v2
摘要
图像描述是用于基准视觉推理以及为视力障碍者提供辅助的重要任务。然而，如同许多机器学习场景，社会偏见会以不良方式影响图像描述。本工作中，我们研究图像描述内的偏见传播路径，特别关注 COCO 数据集。先前工作使用自动推导的性别标签分析描述中的性别偏见；此处我们使用人工标注考察种族与交叉性偏见。我们的首要贡献是在获得 IRB 批准后，对28,315名被描绘人物的感知性别与肤色进行标注。利用这些标注，我们比较人工与自动生成图像描述中存在的种族偏见。我们展示了浅肤色与深肤色人物图像在描述性能、情感与用词上的差异。进一步，我们发现相较于旧式描述系统，现代描述系统中这些差异的幅度更大，从而引发担忧：若无妥善考量与缓解，这些差异将愈发普遍。代码与数据见 https://princetonvisualai.github.io/imagecaptioning-bias 。
引用
@article{arxiv.2106.08503,
title = {Understanding and Evaluating Racial Biases in Image Captioning},
author = {Dora Zhao and Angelina Wang and Olga Russakovsky},
journal= {arXiv preprint arXiv:2106.08503},
year = {2021}
}
备注
ICCV 2021