文本到图像模型中统计学和文化偏见的多指标框架
计算机视觉与模式识别
2026-04-15 v1
摘要
文本到图像（T2I）生成模型在视觉保真度方面取得了显著进展，但继承并放大了训练数据中内嵌的统计学不平衡和文化偏见。我们引入 T2I-BiasBench，一个统一的评估框架，包含十三种互补指标，共同捕捉统计学偏见、元素遗漏和文化坍缩——这是首个同时覆盖这三个维度的框架。我们对三个开源模型——Stable Diffusion v1.5、BK-SDM Base 和 Koala Lightning——以及作为参考基准的 Gemini 2.5 Flash（RLHF 对齐）进行评估。该基准涵盖五个结构化提示类别中的1,574个生成图像。T2I-BiasBench 集成了六项既有指标与七项额外措施：其中四项新提出（复合偏见得分、 grounding 漏失率、隐式元素漏失率、文化准确率比率）和三项改编（幻觉得分、Vendi 得分、CLIP 代理得分）。三个关键发现：（1）Stable Diffusion v1.5 和 BK-SDM 在美丽相关提示中表现出偏见放大（>1.0）；（2）此类约束如手术 PPE 显著减轻职业角色性别偏见（SD v1.5 的 Doctor CBS = 0.06）；（3）所有模型，包括 RLHF 对齐的 Gemini，都坍缩到狭窄的文化表征集合（CAS: 0.54-1.00），确认对齐技术未解决文化覆盖差距。T2I-BiasBench 已公开，以支持生成模型的标准化、细粒度偏见评估。项目页面地址：https://gyanendrachaubey.github.io/T2I-BiasBench/。
引用
@article{arxiv.2604.12481,
title = {T2I-BiasBench: A Multi-Metric Framework for Auditing Demographic and Cultural Bias in Text-to-Image Models},
author = {Nihal Jaiswal and Siddhartha Arjaria and Gyanendra Chaubey and Ankush Kumar and Aditya Singh and Anchal Chaurasiya},
journal= {arXiv preprint arXiv:2604.12481},
year = {2026}
}