面向文本到图像模型的多维社会偏见统一基准测试
计算机视觉与模式识别
2025-04-02 v6
摘要
文本到图像（T2I）生成模型因能够生成高质量图像而日益重要，但也引发关于社会偏见的担忧，尤其是在人类形象生成方面。社会学研究已建立了偏见的系统分类。然而，现有研究在T2I模型的偏见方面大多混合了不同类型的偏见，阻碍了方法论的进步。本文引入BIGbench，一个用于评估图像生成偏见的统一基准，特别精心设计的数据集。与现有基准不同，BIGbench跨四个维度对偏见进行分类和评估，以实现更细粒度的评估和深入分析。此外，BIGbench运用先进的多模态大型语言模型，实现完全自动且高度准确的评估。我们将BIGbench应用于评估八个代表性T2I模型和三个纠偏方法。我们的研究结果通过来自不同种族的经过培训的评估者的人工评估，凸显了BIGbench在对齐图像并识别各种偏见方面的有效性。此外，我们的研究还揭示了关于偏见的新研究方向，并对结果进行了有见地的分析。我们的工作已公开于 https://github.com/BIGbench2024/BIGbench2024/。
引用
@article{arxiv.2407.15240,
title = {BIGbench: A Unified Benchmark for Evaluating Multi-dimensional Social Biases in Text-to-Image Models},
author = {Hanjun Luo and Haoyu Huang and Ziye Deng and Xinfeng Li and Hewei Wang and Yingbin Jin and Yang Liu and Wenyuan Xu and Zuozhu Liu},
journal= {arXiv preprint arXiv:2407.15240},
year = {2025}
}
备注
arXiv admin note: substantial text overlap with arXiv:2405.17814