缓解测试时偏差以实现公平图像检索
计算机视觉与模式识别
2023-06-01 v1 信息检索
机器学习
摘要
我们致力于解决在给定中性文本查询（无明确性别或种族含义）的情况下生成公平且无偏的图像检索结果这一挑战，同时保持底层视觉-语言（VL）模型的效用（性能）。先前的方法旨在将图像与文本查询的学习表征与性别和种族特征解耦。然而，我们表明这些方法不足以缓解期望的均等表示结果中的偏差，因为目标检索集中通常存在测试时偏差。受此启发，我们引入了一种直接的技术——事后偏差缓解（Post-hoc Bias Mitigation, PBM），其对预训练视觉-语言模型的输出进行后处理。我们在真实世界图像搜索数据集 Occupation 1 和 2，以及两个大规模图像-文本数据集 MS-COCO 和 Flickr30k 上评估了我们的算法。与多种现有偏差缓解方法相比，我们的方法在基于文本的图像检索结果中实现了最低偏差，同时保持了令人满意的检索性能。源代码公开于 \url{https://anonymous.4open.science/r/Fair_Text_based_Image_Retrieval-D8B2}。
引用
@article{arxiv.2305.19329,
title = {Mitigating Test-Time Bias for Fair Image Retrieval},
author = {Fanjie Kong and Shuai Yuan and Weituo Hao and Ricardo Henao},
journal= {arXiv preprint arXiv:2305.19329},
year = {2023}
}