性别偏见基准中的偏差：虚假特征如何扭曲评估
计算机视觉与模式识别
2025-10-07 v2
摘要
视觉-语言基础模型(VLM)中的性别偏见引发了对其安全部署的担忧，通常通过带有真实图像性别标注的基准来评估。然而，由于这些基准中性别与非性别特征（如物体和背景）之间常存在虚假相关性，我们识别出性别偏见评估中的一个关键疏忽：虚假特征是否扭曲了性别偏见评估？为回答这一问题，我们在四个广泛使用的基准（COCO-gender、FACET、MIAP和PHASE）和各种VLM上系统性地扰动非性别特征，以量化其对偏见评估的影响。我们的发现表明，即使是最小的扰动，如仅遮蔽10%的物体或轻微模糊背景，也能显著改变偏见分数，在生成式VLM中使指标偏移高达175%，在CLIP变体中偏移43%。这表明当前的偏见评估往往反映的是模型对虚假特征的响应而非性别偏见，削弱了其可靠性。由于创建无虚假特征的基准本质上具有挑战性，我们建议在报告偏见指标的同时报告特征敏感度测量，以实现更可靠的偏见评估。
引用
@article{arxiv.2509.07596,
title = {Bias in Gender Bias Benchmarks: How Spurious Features Distort Evaluation},
author = {Yusuke Hirota and Ryo Hachiuma and Boyi Li and Ximing Lu and Michael Ross Boone and Boris Ivanovic and Yejin Choi and Marco Pavone and Yu-Chiang Frank Wang and Noa Garcia and Yuta Nakashima and Chao-Han Huck Yang},
journal= {arXiv preprint arXiv:2509.07596},
year = {2025}
}
备注
ICCV 2025