模型无关的性别去偏图像描述生成
计算机视觉与模式识别
2023-12-22 v3
摘要
已知图像描述生成模型会延续并放大训练集中的有害社会偏见。在本文中，我们旨在缓解图像描述生成模型中的此类性别偏见。先前工作通过强制模型关注人物以减少性别误分类来解决该问题，但反过来会以牺牲正确性别预测为代价生成性别刻板词汇。基于该观察，我们假设有两种类型的性别偏见影响图像描述生成模型：1) 利用上下文预测性别的偏见，以及 2) 因性别而生成某些（常为刻板）词汇的概率偏见。为缓解这两类性别偏见，我们提出一个名为 LIBRA 的框架，该框架从合成偏置样本中学习，以降低两类偏见，纠正性别误分类并将性别刻板词汇改为更中性的词汇。代码可在 https://github.com/rebnej/LIBRA 获取。
引用
@article{arxiv.2304.03693,
title = {Model-Agnostic Gender Debiased Image Captioning},
author = {Yusuke Hirota and Yuta Nakashima and Noa Garcia},
journal= {arXiv preprint arXiv:2304.03693},
year = {2023}
}
备注
CVPR 2023