DemoBias：追踪视觉基础模型中人口统计学偏差的实证研究
计算机视觉与模式识别
2025-08-28 v1 人工智能
摘要
大型视觉语言模型（LVLMs）在各种下游任务中展现出了卓越的能力，包括带有描述的生物特征人脸识别（FR）。然而，人口统计学偏差仍然是 FR 中的一个关键问题，因为考虑到族裔/种族、性别和年龄，这些基础模型往往无法在不同的人口群体间实现公平表现。因此，通过我们的工作 DemoBias，我们进行了一项实证评估，以调查 LVLMs 在带有文本 token 生成任务的生物特征 FR 中人口统计学偏差的程度。我们在自行生成的人口统计学平衡数据集上，对三种广泛使用的预训练 LVLMs：LLaVA、BLIP-2 和 PaliGemma 进行了微调和评估。我们利用多种评估指标，如特定群体的 BERTScores 和公平性差异率，来量化和追踪性能差异。实验结果为 LVLMs 在不同人口群体间的公平性和可靠性提供了令人信服的见解。我们的实证研究发现了 LVLMs 中存在的人口统计学偏差，其中 PaliGemma 和 LLaVA 在西班牙裔/拉丁裔、高加索裔和南亚裔群体中表现出较高的差异，而 BLIP-2 则表现出相对的一致性。代码库：https://github.com/Sufianlab/DemoBias。
引用
@article{arxiv.2508.19298,
title = {DemoBias: An Empirical Study to Trace Demographic Biases in Vision Foundation Models},
author = {Abu Sufian and Anirudha Ghosh and Debaditya Barman and Marco Leo and Cosimo Distante},
journal= {arXiv preprint arXiv:2508.19298},
year = {2025}
}
备注
6 pages, 4 figures, 13th International Workshop on Biometrics and Forensics (IWBF)